[논문 리뷰] Modality-Pairing Learning for Brain Tumor Segmentation

Yixin Wang, Yao Zhang외 6명|arXiv (Cornell University)|2020. 10. 19.

Advanced Neural Network Applications참고 문헌 15인용 수 15

한 줄 요약

이 논문은 3D U-Net을 사용하여 뇌 종양 세그멘테이션을 위한 모달리티 쌍 학습 프레임워크를 제안한다. 두 개의 병렬 브랜치가 T1/T1ce 및 T2/Flair와 같은 짝지어진 MRI 모달리티를 처리하며, 밀집 스위프 커넥션과 일致성 손실를 통해 특징 융합을 향상시킨다. 이 방법은 BraTS 2020 챌린지에서 전반 종양, 종양 핵심, 강화 종양에 대해 각각 평균 Dice 점수 0.891, 0.842, 0.816을 기록하며 2위를 차지했다.

ABSTRACT

Automatic brain tumor segmentation from multi-modality Magnetic Resonance Images (MRI) using deep learning methods plays an important role in assisting the diagnosis and treatment of brain tumor. However, previous methods mostly ignore the latent relationship among different modalities. In this work, we propose a novel end-to-end Modality-Pairing learning method for brain tumor segmentation. Paralleled branches are designed to exploit different modality features and a series of layer connections are utilized to capture complex relationships and abundant information among modalities. We also use a consistency loss to minimize the prediction variance between two branches. Besides, learning rate warmup strategy is adopted to solve the problem of the training instability and early over-fitting. Lastly, we use average ensemble of multiple models and some post-processing techniques to get final results. Our method is tested on the BraTS 2020 online testing dataset, obtaining promising segmentation performance, with average dice scores of 0.891, 0.842, 0.816 for the whole tumor, tumor core and enhancing tumor, respectively. We won the second place of the BraTS 2020 Challenge for the tumor segmentation task.

연구 동기 및 목표

• 다중 모달리티 MRI 뇌 종양 세그멘테이션에서 상호 모달리티 특징 상호작용이 제한된 문제를 해결한다.
• 입력 수준 융합의 한계를 극복하기 위해 T1/T1ce 및 T2/Flair와 같은 짝지어진 MRI 모달리티 간의 상보적 관계를 모델링한다.
• 일致성 정규화를 통한 모달리티 쌍 학습을 통해 세그멘테이션의 강건성과 정확도를 향상시킨다.
• 학습률 웜업 전략과 모델 앙상블 기법을 사용하여 학습의 불안정성과 과적합을 완화한다.
• 통합된 아키텍처적 및 학습 혁신을 통해 BraTS 2020 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 각 브랜치가 T1 및 T1ce를 처리하고, 다른 브랜치가 T2 및 Flair를 처리하는 이중 브랜치 3D U-Net 아키텍처를 설계한다.
• 두 브랜치 간의 대응하는 인코더 및 디코더 레이어 사이에 밀집 스위프 커넥션을 적용하여 특징 흐름과 상보성을 향상시킨다.
• 두 브랜치의 고수준 특징 표현 간의 일치성을 강제하기 위해 모달리티 쌍 학습 손실을 도입하여 강력하고 정렬된 특징 학습을 촉진한다.
• 배치 정규화와 ReLU 대신 각 컨볼루션 블록에 인스턴스 정규화와 리키 ReLU를 적용하여 학습 안정성을 향상시킨다.
• 학습 중에 학습률 웜업 전략을 적용하여 불안정성을 줄이고 초기 과적합을 방지한다.
• 여러 개의 훈련된 모델 예측 평균화를 통한 모델 앙상블을 구현하고, 잡음 있는 세그멘테이션 객체 제거를 위한 후처리를 적용한다.

실험 결과

연구 질문

• RQ1 다중 모달리티 MRI 세그멘테이션에서 표준 입력 수준 융합 대비 이중 브랜치 아키텍처와 모달리티 쌍 학습이 특징 표현 학습을 향상시키는가?
• RQ2 전용 손실 함수를 통해 짝지어진 모달리티 브랜치 간의 일치성을 강제하면 세그멘테이션 정확도와 강건성이 향상되는가?
• RQ3 학습률 웜업 전략이 뇌 종양 세그멘테이션을 위한 깊이 있는 3D U-Net 모델에서 학습 안정성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 모델 앙상블과 후처리는 BraTS 2020 벤치마크에서 세그멘테이션 출력을 정교화하고 최종 성능을 향상시키는 데 얼마나 효과적인가?
• RQ5 제안된 방법은 최신 기술 수준의 접근 방식과 비교해도 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 제안된 모달리티 쌍 학습 방법은 BraTS 2020 온라인 테스트 세트에서 전반 종양, 종양 핵심, 강화 종양에 대해 각각 평균 Dice 점수 0.891, 0.842, 0.816을 기록했다.
• 이 방법은 BraTS 2020 챌린지에서 78개 참가 팀 중 뇌 종양 세그멘테이션 과제에서 2위를 차지했다.
• 최상의 성능을 보인 세 개의 모달리티 쌍 학습 모델과 세 개의 바닐라 U-Net 모델의 앙상블은 검증 세트에서 강화 종양의 Dice 점수를 0.785에서 0.793으로 향상시켰다.
• 모델은 검증 세트에서 전반 종양의 평균 Dice 0.907과 종양 핵심의 평균 Dice 0.837을 기록하여 높은 세그멘테이션 정밀도를 보였다.
• Hausdorff95 지표는 모델이 좋은 경계 정확도를 유지했음을 보여주었으며, 검증 세트에서 전반 종양의 평균이 4.71, 종양 핵심의 평균이 5.70이었다.
• 강화 종양의 중앙값 Dice 점수는 0.885였으며, 표준편차가 높은 편(0.276)이지만 고난이도 케이스에서도 일관된 성능을 보여, 높은 강건성을 입증했다.