[논문 리뷰] A New Multiple Max-pooling Integration Module and Cross Multiscale Deconvolution Network Based on Image Semantic Segmentation

Hongfeng You, Shengwei Tian외 4명|arXiv (Cornell University)|2020. 03. 25.

Radiomics and Machine Learning in Medical Imaging참고 문헌 32인용 수 4

한 줄 요약

이 논문은 다중 최대 풀링 특징을 통합하고 교차 다중 스케일 디컨볼루션을 사용하여 특징 희소성 문제를 완화하는 새로운 딥러닝 아키텍처인 MC-Net을 제안한다. 다중 스케일 컨볼루션, 다중 최대 풀링 통합 모듈, 그리고 스킵 연결된 교차 스케일 디컨볼루션을 조합함으로써 MC-Net은 이진 및 다중 클래스 분할 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 FCN, U-Net, PSPNet 및 기타 선도적인 모델들을 능가한다.

ABSTRACT

To better retain the deep features of an image and solve the sparsity problem of the end-to-end segmentation model, we propose a new deep convolutional network model for medical image pixel segmentation, called MC-Net. The core of this network model consists of four parts, namely, an encoder network, a multiple max-pooling integration module, a cross multiscale deconvolution decoder network and a pixel-level classification layer. In the network structure of the encoder, we use multiscale convolution instead of the traditional single-channel convolution. The multiple max-pooling integration module first integrates the output features of each submodule of the encoder network and reduces the number of parameters by convolution using a kernel size of 1. At the same time, each max-pooling layer (the pooling size of each layer is different) is spliced after each convolution to achieve the translation invariance of the feature maps of each submodule. We use the output feature maps from the multiple max-pooling integration module as the input of the decoder network; the multiscale convolution of each submodule in the decoder network is cross-fused with the feature maps generated by the corresponding multiscale convolution in the encoder network. Using the above feature map processing methods solves the sparsity problem after the max-pooling layer-generating matrix and enhances the robustness of the classification. We compare our proposed model with the well-known Fully Convolutional Networks for Semantic Segmentation (FCNs), DecovNet, PSPNet, U-net, SgeNet and other state-of-the-art segmentation networks such as HyperDenseNet, MS-Dual, Espnetv2, Denseaspp using one binary Kaggle 2018 data science bowl dataset and two multiclass dataset and obtain encouraging experimental results.

연구 동기 및 목표

• 엔드 투 엔드 세그먼테이션 모델에서 발생하는 특징 희소성 문제, 특히 의료 영상 분야에서의 문제를 해결하기 위해.
• 에코더 및 디코더 단계에서 다중 스케일 특징을 통합하여 특징 유지 및 강건성을 향상시키기 위해.
• 고도화된 풀링 및 디컨볼루션 전략을 통해 파라미터 수를 줄이고 공간적 세부 정보를 유지함으로써 분할 정확도를 향상시키기 위해.
• 이진 및 다중 클래스 분할 작업에서 기존 최신 기술 수준의 모델들을 능가하는 통합 아키텍처를 개발하기 위해.

제안 방법

• 에코더는 단일 채널 컨볼루션 대신 다중 스케일 컨볼루션을 사용하여 계층적 특징을 추출한다.
• 다중 최대 풀링 통합 모듈은 1x1 컨볼루션을 사용해 서로 다른 에코더 서브모듈의 특징을 융합하고, 다양한 커널 크기를 가진 최대 풀링을 적용하여 이동 불변성을 향상시킨다.
• 디코더는 교차 다중 스케일 디컨볼루션을 사용하며, 각 디컨볼루션 서브모듈이 에코더에서 유래한 해당하는 다중 스케일 특징과 융합되어 공간 해상도와 맥락을 복구한다.
• 최종 세그먼테이션 예측을 위해 픽셀 수준의 분류 레이어를 사용한다.
• 의료 영상 데이터셋에서 표준 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 다중 스케일 풀링과 스킵 연결된 디컨볼루션의 통합은 특징 희소성을 감소시키고 특징 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 최대 풀링 통합 모듈은 세그먼테이션에서 공간 맥락을 유지하면서 특징 희소성을 효과적으로 줄일 수 있는가?
• RQ2 기본적인 디컨볼루션 대비 교차 다중 스케일 디컨볼루션은 특징 복구 및 분할 정확도를 어떻게 향상시키는가?
• RQ3 제안된 MC-Net 아키텍처는 의료 영상 분할 벤치마크에서 기존 최신 기술 수준의 모델들을 얼마나 뛰어넘는가?
• RQ4 에코더 및 디코더 단계에서 다중 스케일 컨볼루션을 사용함으로써 특징 표현력과 강건성이 향상되는가?

주요 결과

• MC-Net은 이진 Kaggle 2018 데이터 사이언스 볼 대회 데이터셋에서 최신 기술 수준의 성능을 달성하여 FCN, U-Net, PSPNet을 능가했다.
• 다중 클래스 의료 영상 분할 데이터셋에서 MC-Net은 HyperDenseNet, MS-Dual, ESPNetv2, DenseASPP와 비교해 뛰어난 분할 정확도를 보였다.
• 다중 최대 풀링 통합 모듈은 높은 특징 표현 품질을 유지하면서도 파라미터 수를 줄이는 데 효과적이었다.
• 교차 다중 스케일 디컨볼루션 전략은 최대 풀링 연산 이후 특징 복구를 크게 향상시키고 희소성을 감소시켰다.
• 다양한 의료 영상 작업 전반에서 일관된 성능 향상을 기록하여 강력한 일반화 능력을 보였다.