[논문 리뷰] MMFNet: A Multi-modality MRI Fusion Network for Segmentation of Nasopharyngeal Carcinoma

Huai Chen, Yuxiao Qi외 6명|arXiv (Cornell University)|2018. 12. 25.

Brain Tumor Detection and Classification참고 문헌 68인용 수 4

한 줄 요약

이 논문은 난치성 뇌경색성 암(NPC)의 자동 분할을 향상시키기 위해 T1, T2 및 대조 강화 T1 MRI 모odalities를 통합하는 3D 다중 인코더 융합 네트워크인 MMFNet을 제안한다. 3D-CBAM을 활용한 특징 재조정과 균형 잡힌 특징 융합을 위한 잔차 융합 블록, 그리고 자기 전이 학습 전략을 도입함으로써 MMFNet은 높은 정확도와 시간 효율성을 확보하여 환자당 처리 시간을 수동 분할 시 10~20분에서 약 9초로 감소시켰다.

ABSTRACT

Segmentation of nasopharyngeal carcinoma (NPC) from Magnetic Resonance Images (MRI) is a crucial prerequisite for NPC radiotherapy. However, manually segmenting of NPC is time-consuming and labor-intensive. Additionally, single-modality MRI generally cannot provide enough information for its accurate delineation. Therefore, a multi-modality MRI fusion network (MMFNet) based on three modalities of MRI (T1, T2 and contrast-enhanced T1) is proposed to complete accurate segmentation of NPC. The backbone of MMFNet is designed as a multi-encoder-based network, consisting of several encoders to capture modality-specific features and one single decoder to fuse them and obtain high-level features for NPC segmentation. A fusion block is presented to effectively fuse features from multi-modality MRI. It firstly recalibrates low-level features captured from modality-specific encoders to highlight both informative features and regions of interest, then fuses weighted features by a residual fusion block to keep balance between fused ones and high-level features from decoder. Moreover, a training strategy named self-transfer, which utilizes pre-trained modality-specific encoders to initialize multi-encoder-based network, is proposed to make full mining of information from different modalities of MRI. The proposed method based on multi-modality MRI can effectively segment NPC and its advantages are validated by extensive experiments.

연구 동기 및 목표

• 수동 NPC 분할의 한계를 해결하기 위해, 이는 시간 소모가 크고 임상의의 전문 지식에 의존하기 때문이다.
• 단일 모달리티 MRI가 정확한 NPC 분할을 위한 포괄적인 조직 특성을 포착하는 데 부족함을 해결하기 위해.
• 다양한 모달리티 MRI를 효과적으로 융합하여 NPC의 향상된 3D 분할을 위한 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 다중 인코더 아키텍처에서 특징 학습을 향상시키기 위해 사전 훈련된 모달리티별 인코더를 활용하는 새로운 학습 전략인 자기 전이(self-transfer)를 도입하기 위해.
• 단일 또는 双모달리티 접근 방식에 비해 다중 모달리티 융합이 NPC 분할 성능에서 뛰어난지 검증하기 위해.

제안 방법

• MMFNet은 T1, T2 및 대조 강화 T1 MRI에 대해 각각 별도의 인코더를 갖춘 다중 인코더 백본을 사용하여 모달리티별 특징을 추출한다.
• 융합 블록은 3D-CBAM(Convolutional Block Attention Module)을 사용하여 채널 및 공간 주의를 재조정함으로써 특징을 융합하며, 정보가 많은 특징과 관심 영역을 강조한다.
• 잔차 융합 블록(RFBlock)은 3D-CBAM에서 재가중된 특징과 고수준 디코더 특징을 조합하여 특징 균형을 유지하고 공간적 맥락을 보존한다.
• 자기 전이 학습 전략은 사전 훈련된 세 개의 모달리티별 인코더-디코더 네트워크에서 지식을 전이하여 다중 인코더 네트워크를 초기화한다.
• 네트워크는 전체적으로 3D 컨볼루션 레이어를 사용하여 3D 특징 학습을 가능하게 하고 슬라이스 간 공간적 관계를 유지한다.
• 디코더 경로는 다중 인코더 특징에서 온 스킵 연결을 사용하여 분할 마스크를 재구성함으로써 정밀한 경계 국소화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 T1, T2 및 대조 강화 T1 MRI 모달리티를 융합함으로써 단일 모달리티 접근 방식에 비해 NPC 분할 정확도가 크게 향상되는가?
• RQ2 제안된 3D-CBAM 및 잔차 융합 블록이 다중 모달리티 융합에서 특징 표현을 향상시키고 노이즈를 감소시키는 데 얼마나 효과적인가?
• RQ3 자기 전이 학습 전략이 다중 인코더 네트워크에서 수렴성과 분할 성능을 향상시키는가?
• RQ4 2D 슬라이스 기반 방법에 비해 3D 특징 사용이 NPC 분할을 위한 해부학적 맥락을 포착하는 데 얼마나 뛰어난가?
• RQ5 NPC 분할에 가장 적합한 MRI 모달리티 조합은 무엇이며, T1, T2 및 CET1를 모두 포함할 경우 최고의 성능을 내는가?

주요 결과

• MMFNet은 U-Net, 3D U-Net 및 기타 다중 모달리티 방법에 비해 뛰어난 분할 성능를 보이며, NPC 분할 분야에서 최신 기술 수준의 정확도를 확보했다.
• T1, T2 및 대조 강화 T1 MRI의 세 가지 모달리티를 모두 포함한 조합이 가장 우수한 분할 결과를 도출하여 다중 모달리티 융합의 가치를 확인했다.
• 다양한 MLP와 표준편차 풀링 통합을 적용한 3D-CBAM이 가장 높은 성능를 기록하여, 다양한 전역 특징 분포를 효과적으로 포착함을 시사했다.
• 자기 전이 학습 전략은 모든 평가 설정에서 분할 지표를 크게 향상시켜 다중 인코더 네트워크 초기화에 있어 그 가치를 입증했다.
• MMFNet은 환자당 약 9초로 NPC 분할 시간을 압도적으로 단축시켜 수동 분할(10~20분)에 비해 놀라운 향상이 있었다.
• 시각화 결과는 훈련 중 주의 맵이 종양 영역을 다이나믹하게 집중함으로써 거짓 양성 결과를 감소시키고 국소화 정확도를 향상시킴을 보여주었다.