[논문 리뷰] DoubleU-Net: A Deep Convolutional Neural Network for Medical Image Segmentation

Debesh Jha, Michael A. Riegler외 3명|arXiv (Cornell University)|2020. 06. 08.

Radiomics and Machine Learning in Medical Imaging인용 수 16

한 줄 요약

이 논문은 두 개의 U-Net 아키텍처를 스택하고 사전 훈련된 VGG-19 인코더 및 Atrous Spatial Pyramid Pooling (ASPP)를 활용하여 특징 학습을 향상시키는 딥 컨volution 신경망인 DoubleU-Net을 제안한다. 이는 네 가지 다양한 의료 영상 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 소형 및 평평한 폴립과 같은 과제에 있어서 U-Net을 크게 능가하며, Dice 유사도 계수(DSC)에서 최대 47.29% 향상된 성과를 기록한다.

ABSTRACT

Semantic image segmentation is the process of labeling each pixel of an image with its corresponding class. An encoder-decoder based approach, like U-Net and its variants, is a popular strategy for solving medical image segmentation tasks. To improve the performance of U-Net on various segmentation tasks, we propose a novel architecture called DoubleU-Net, which is a combination of two U-Net architectures stacked on top of each other. The first U-Net uses a pre-trained VGG-19 as the encoder, which has already learned features from ImageNet and can be transferred to another task easily. To capture more semantic information efficiently, we added another U-Net at the bottom. We also adopt Atrous Spatial Pyramid Pooling (ASPP) to capture contextual information within the network. We have evaluated DoubleU-Net using four medical segmentation datasets, covering various imaging modalities such as colonoscopy, dermoscopy, and microscopy. Experiments on the MICCAI 2015 segmentation challenge, the CVC-ClinicDB, the 2018 Data Science Bowl challenge, and the Lesion boundary segmentation datasets demonstrate that the DoubleU-Net outperforms U-Net and the baseline models. Moreover, DoubleU-Net produces more accurate segmentation masks, especially in the case of the CVC-ClinicDB and MICCAI 2015 segmentation challenge datasets, which have challenging images such as smaller and flat polyps. These results show the improvement over the existing U-Net model. The encouraging results, produced on various medical image segmentation datasets, show that DoubleU-Net can be used as a strong baseline for both medical image segmentation and cross-dataset evaluation testing to measure the generalizability of Deep Learning (DL) models.

연구 동기 및 목표

• 의료 영상 분할에서 약한 레이블이 부여된 훈련 데이터와 낮은 영상 품질 문제를 해결하기 위해.
• 다양한 의료 영상 모odalities에 걸쳐 U-Net의 일반화 및 강인성을 향상시키기 위해.
• 의료 영상 분할에서 교차 데이터셋 평가를 위한 더 정확하고 신뢰할 수 있는 기준 모델을 개발하기 위해.
• 저자료 환경에서 ImageNet 사전 훈련 모델을 활용한 전이 학습의 효과를 탐색하기 위해.
• ASPP를 통한 맥락 모델링과 함께 두 개의 U-Net 아키텍처를 조합하여 특징 표현을 향상시키기 위해.

제안 방법

• DoubleU-Net은 두 개의 U-Net 아키텍처를 순차적으로 스택하며, 첫 번째 U-Net은 전이 학습을 위해 사전 훈련된 VGG-19를 인코더로 사용한다.
• 두 번째 U-Net은 더 깊고 더 의미적인 특징을 추출하기 위해 하단에 추가되어 표현 학습을 향상시킨다.
• 다양한 스케일의 맥락 정보를 캡처하기 위해 Atrous Spatial Pyramid Pooling (ASPP)를 네트워크 내부에 통합한다.
• 스킵 연결은 두 U-Net 브랜치 모두에 사용되어 공간적 세부 정보를 유지하고 분할 정확도를 향상시킨다.
• 클래스 불균형 문제를 해결하기 위해 교차 엔트로피 손실과 포칼 손실을 함께 사용하여 엔드 투 엔드로 네트워크를 훈련시키며, 추론 과정에 Otsu 임계 처리를 통한 후처리를 포함한다.
• 추가 블록(예: Squeeze-and-Excite)의 통합이 가능하도록 유연한 아키텍처로 설계되었다.

실험 결과

연구 질문

• RQ1 두 개의 U-Net 아키텍처를 스택하는 것이 도전적인 의료 영상 분할 작업에서 성능 향상에 기여하는가?
• RQ2 사전 훈련된 VGG-19 인코더를 통합함으로써 저자료 의료 영상 분할 환경에서 특징 학습과 일반화 능력이 향상되는가?
• RQ3 다양한 의료 영상 데이터셋에서 DoubleU-Net은 U-Net 및 기타 최신 기술 수준의 모델과 비교해 어떻게 성능을 내는가?
• RQ4 복잡한 의료 영상에서 ASPP의 사용이 맥락 모델링과 분할 정확도 향상에 어느 정도 기여하는가?
• RQ5 DoubleU-Net은 의료 영상 분할에서 교차 데이터셋 평가를 위한 강인하고 일반화 가능한 기준 모델로 활용될 수 있는가?

주요 결과

• 2015 MICCAI 서브챌린지에서 자동 폴립 탐지 작업에 대해 DoubleU-Net은 U-Net 대비 DSC에서 최대 47.29% 향상되어 DSC 0.7649를 기록했다.
• CVC-ClinicDB 데이터셋에서 DoubleU-Net은 U-Net의 DSC 0.8781에서 0.9239로 향상되어 상대적 4.58% 향상되었으며, 대장내 endoscopy 영상에서 뛰어난 성능을 보였다.
• 2018 Data Science Bowl 챌린지의 세포핵 분할 작업에서 DoubleU-Net은 DSC 0.9133을 기록하여 U-Net(0.7573)과 UNet++(0.8974)을 모두 능가했으며, 상대적 15.60% 향상되었다.
• ISIC-2018 병변 경계 분할 챌린지에서 DoubleU-Net은 DSC 0.8962를 기록하여 피부모세포 영상에서 강력한 성능을 보였다.
• 정성적 결과는 DoubleU-Net이 특히 소형 및 평평한 폴립에 대해 더 정확하고 세밀한 분할 마스크를 생성함을 확인했다.
• 교차 데이터셋 일반화 테스트 결과, DoubleU-Net은 초기화된 U-Net보다 뚜렷하게 뛰어난 성능을 보였으며, 특히 ETIS-Larib 데이터셋에서 강인성과 이식성의 우수함을 입증했다.