[논문 리뷰] mmFormer: Multimodal Medical Transformer for Incomplete Multimodal Learning of Brain Tumor Segmentation

Yao Zhang, Nanjun He외 7명|arXiv (Cornell University)|2022. 06. 06.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 논문은 다중모odal MRI 조건에서 손실된 모달리티 상황에서도 강력한 뇌종양 세분화를 가능하게 하는 mmFormer을 제안한다. 이는 모달리티별 인코더, 상호모달 트랜스포머를 통한 전역적 특징 정렬, 보조 정규화를 갖춘 점진적 디코더를 조합한 구조를 취한다. 단일 모달리티만 제공될 경우, 증강된 종양 세분화에서 평균 DSC 점수를 19.07% 향상시키며, 완전한 다중모달 설정과 불완전한 설정 모두에서 최신 기술을 능가한다.

ABSTRACT

Accurate brain tumor segmentation from Magnetic Resonance Imaging (MRI) is desirable to joint learning of multimodal images. However, in clinical practice, it is not always possible to acquire a complete set of MRIs, and the problem of missing modalities causes severe performance degradation in existing multimodal segmentation methods. In this work, we present the first attempt to exploit the Transformer for multimodal brain tumor segmentation that is robust to any combinatorial subset of available modalities. Concretely, we propose a novel multimodal Medical Transformer (mmFormer) for incomplete multimodal learning with three main components: the hybrid modality-specific encoders that bridge a convolutional encoder and an intra-modal Transformer for both local and global context modeling within each modality; an inter-modal Transformer to build and align the long-range correlations across modalities for modality-invariant features with global semantics corresponding to tumor region; a decoder that performs a progressive up-sampling and fusion with the modality-invariant features to generate robust segmentation. Besides, auxiliary regularizers are introduced in both encoder and decoder to further enhance the model's robustness to incomplete modalities. We conduct extensive experiments on the public BraTS $2018$ dataset for brain tumor segmentation. The results demonstrate that the proposed mmFormer outperforms the state-of-the-art methods for incomplete multimodal brain tumor segmentation on almost all subsets of incomplete modalities, especially by an average 19.07% improvement of Dice on tumor segmentation with only one available modality. The code is available at https://github.com/YaoZhang93/mmFormer.

연구 동기 및 목표

• 임상적 실무에서 T1, T1c, T2, FLAIR 등의 MRI 모달리티 중 하나 이상이 손실될 경우 다중모달 뇌종양 세분화 성능이 심각하게 저하되는 문제를 해결하기 위해.
• 재학습 없이도 모든 가능한 모달리티 조합에 일반화 가능한 통합 딥 러닝 모델을 개발하기 위해.
• 트랜스포머의 장거리 모델링 능력을 활용해 손실된 데이터에 대해 더 강건한 모달리티 불변 표현을 학습하기 위해.
• 손실된 모달리티 상황에서 일반화 능력을 향상시키기 위해 인코더 및 디코더 양쪽에 보조 정규화를 통합하기 위해.
• BraTS 2018 데이터셋에서 불완전한 다중모달 설정과 완전한 다중모달 설정 양쪽 모두에서 기존 방법을 능가하는 것.

제안 방법

• 모델은 각각 복합 백본과 내모달 트랜스포머를 조합한 네 개의 하이브리드 모달리티별 전용 인코더를 사용하여 각 MRI 모달리티 내부의 국소적 및 전역적 맥락을 캡처한다.
• 상호모달 트랜스포머를 도입하여 모달리티 간 장거리 상관관계를 수립하고 정렬함으로써 종양 영역의 전역 의미를 지닌 모달리티 불변 특징을 생성한다.
• 점진적 업샘플링 및 융합 디코더는 모달리티 불변 특징을 사용하여 최종 세분화 마스크를 생성한다.
• 손실된 모달리티 조건 하에서의 일반화 능력을 향상시키기 위해 인코더 및 디코더 브랜치 양쪽에 보조 정규화를 적용한다.
• BraTS 2018 데이터셋에서 모든 가용 모달리티를 사용해 엔드 투 엔드로 학습하고, 모든 15가지 손실된 모달리티 조합에서 테스트한다.
• 증강된 종양, 종양 코어, 전체 종양 하위 영역에서 DSC(Dice Similarity Coefficient)를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 통합 트랜스포머 기반 아키텍처가 손실된 MRI 모달리티의 모든 가능한 조합에서 강력한 뇌종양 세분화를 달성할 수 있는가?
• RQ2 내모달 및 상호모달 트랜스포머의 통합이 손실된 다중모달 학습을 위한 특징 표현을 어떻게 향상시키는가?
• RQ3 보조 정규화가 모달리티가 손실되었을 경우 모델의 강건성에 얼마나 기여하는가?
• RQ4 제안된 방법이 불완전한 다중모달 설정과 완전한 다중모달 설정 모두에서 기존 최신 기술을 능가하는가?
• RQ5 손실된 모달리티 수가 증가함에 따라 성능 저하가 어떻게 발생하는가? 그리고 mmFormer은 이러한 상황에서도 우월성을 유지하는가?

주요 결과

• 단일 모달리티만 제공될 경우 mmFormer은 증강된 종양 세분화에서 HeMIS 및 U-HVED보다 평균 DSC 점수를 19.07% 향상시킨다.
• 손실된 모달리티의 15가지 조합 전반에서 mmFormer은 전체 종양 세분화에서 12/15건, 증강된 종양 및 종양 코어 세분화에서는 모든 경우에서 HeMIS 및 U-HVED를 능가한다.
• 세 개의 모달리티가 손실된 경우 mmFormer은 종양 코어에서 HeMIS 대비 평균 DSC 점수를 15.34% 향상시키며, 전체 종양에서는 11.75% 향상시킨다.
• 완전한 다중모달 설정에서 mmFormer은 트랜스포머 기반의 TransBTS를 능가하여 전체 종양의 DSC를 89.64%로 기록했고, TransBTS는 79.99%였다.
• 절단 실험 결과, 상호모달 트랜스포머, 내모달 트랜스포머, 보조 정규화 기능이 각각 성능 향상에 기여하며, 이 세 가지 요소를 모두 통합했을 때 최고의 성능를 기록한다.
• 모델은 106M 파rameter로 25시간의 훈련만으로도 학습이 가능하며, ACN은 15개의 별도 학생 모델을 학습하기 위해 672시간과 144M 파rameter가 필요하다.