[논문 리뷰] MDU-Net: Multi-scale Densely Connected U-Net for biomedical image segmentation

Jiawei Zhang, Yuzhen Jin외 3명|arXiv (Cornell University)|2018. 12. 02.

AI in cancer detection참고 문헌 62인용 수 73

한 줄 요약

MDU-Net은 U-Net을 세 가지 다중 스케일 Dense 연결(인코더, 디코더, 크로스-블록)로 확장하여 다중 스케일 특징을 융합하고, 더 깊은 네트워크와 GlaS 데이터세트에서의 샘 분할 성능을 향상시킵니다; 양자화는 과적합을 더 감소시키고 정확도를 유지하거나 향상시킵니다.

ABSTRACT

Biomedical image segmentation plays a central role in quantitative analysis, clinical diagnosis, and medical intervention. In the light of the fully convolutional networks (FCN) and U-Net, deep convolutional networks (DNNs) have made significant contributions to biomedical image segmentation applications. In this paper, we propose three different multi-scale dense connections (MDC) for the encoder, the decoder of U-shaped architectures, and across them. Based on three dense connections, we propose a multi-scale densely connected U-Net (MDU-Net) for biomedical image segmentation. MDU-Net directly fuses the neighboring feature maps with different scales from both higher layers and lower layers to strengthen feature propagation in the current layer. Multi-scale dense connections, which contain shorter connections between layers close to the input and output, also make a much deeper U-Net possible. Besides, we introduce quantization to alleviate the potential overfitting in dense connections, and further improve the segmentation performance. We evaluate our proposed model on the MICCAI 2015 Gland Segmentation (GlaS) dataset. The three MDC improve U-Net performance by up to 1.8% on test A and 3.5% on test B in the MICCAI Gland dataset. Meanwhile, the MDU-Net with quantization obviously improves the segmentation performance of original U-Net.

연구 동기 및 목표

• 다중 스케일 Dense 연결을 통해 U-Net의 정보 흐름을 개선하여 생의학 영상 분할 성능을 향상시키려는 동기를 부여한다.
• 스케일 간 고수준 및 저수준 특징을 융합하기 위해 세 가지 Dense 연결 패턴(인코더, 디코더, 크로스 연결)을 제안한다.
• 분할 정확도를 보존하면서 과적합을 줄이기 위해 네트워크 양자화를 도입한다.
• MICCAI 2015 GlaS 샘 분할 데이터세트에서 표준 U-Net 대비 이득을 정량화하기 위해 평가한다.

제안 방법

• 세 가지 다중 스케일 밀집 연결 블록을 도입한다: 밀집 인코더, 밀집 디코더, 밀집 크로스 연결.
• 연속 스케일 간 특징 맵을 연결(concatenation)하기 전에 같은 해상도로 다운샘플링 및 업샘플링하여 융합한다.
• 채널 수를 제어하고 작은 매개변수 오버헤드를 유지하기 위해 1x1 합성곱을 채택한다.
• 밀집 연결의 영향을 연구하기 위해 서로 다른 구성(Min/Mout, 상위/하위 크로스 연결)을 평가한다.
• 매개변수 가중치에 증가적 양자화(INQ)를 적용하여 과적합을 줄이고 부분 양자화에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 인코더, 디코더, 크로스 블록에서 다중 스케일 Dense 연결을 통합하면 표준 U-Net보다 분할 정확도가 향상되는가?
• RQ2 어떤 Dense 연결 패턴(인코더, 디코더, 크로스)이 최상의 성능을 내며, 이들의 조합이 정확도와 과적합에 어떤 영향을 미치는가?
• RQ3 양자화가 생의학 분할 과제에서 정확도를 희생하지 않으면서 밀집 연결 U-Net의 과적합을 더 완화할 수 있는가?
• RQ4 제안된 방법들이 표준 샘 분할 벤치마크(GlaS)에서 U-Net 및 관련 아키텍처와 비교해 어떤 성능을 보이는가?

주요 결과

• 세 가지 다중 스케일 Dense 연결이 U-Net보다 분할 성능을 향상시키고, 결합 시 Test A에서 평균 Dice가 최대 3% 증가하고 Test B에서 최대 4.1% 증가.
• 개별적으로도 밀집 인코더, 밀집 디코더, 밀집 크로스 블록은 평가 지표와 데이터 분할 전반에 걸쳐 U-Net보다 향상
• 세 가지 Dense 연결의 조합은 Test A에서 평균적으로 최상의 결과를 제공하며, U-Net과 비교했을 때 최대 3%/4.1% 향상을 보고한다.
• 증분 양자화(INQ)를 통한 양자화는 과적합을 줄이고 Dice 점수를 유지하거나 향상시킬 수 있으며, 반양자화 구성이 경쟁력 있는 성능을 보인다(예: Test B의 개선).
• 제안된 MDU-Net은 U-Net에 비해 매개변수 증가가 미미하면서도 향상된 분할 정확도를 제공하여, U자형 생의학 분할의 강건한 백본으로 작용할 수 있음을 시사한다.