[논문 리뷰] Modality-aware Mutual Learning for Multi-modal Medical Image Segmentation

Yao Zhang, Jiawei Yang외 5명|arXiv (Cornell University)|2021. 07. 21.

Advanced Neural Network Applications참고 문헌 29인용 수 10

한 줄 요약

이 논문은 다중 모odal 의료 영상 분할을 위한 새로운 프레임워크인 모달리티 인식 상호 학습(MAML)을 제안한다. 이 프레임워크는 상호 학습을 통해 훈련된 모달리티별 모델을 사용하여 간 종양 분할 성능을 향상시킨다. 모달리티 인식 주의 모듈을 통합하여 적응형 융합을 구현하고, 다양한 모달리티 간 지식 정착을 가능하게 함으로써 임상 및 공개 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 결측 모달리티 상황에서도 뛰어난 정확도 향상을 보이며 강력한 성능을 발휘한다.

ABSTRACT

Liver cancer is one of the most common cancers worldwide. Due to inconspicuous texture changes of liver tumor, contrast-enhanced computed tomography (CT) imaging is effective for the diagnosis of liver cancer. In this paper, we focus on improving automated liver tumor segmentation by integrating multi-modal CT images. To this end, we propose a novel mutual learning (ML) strategy for effective and robust multi-modal liver tumor segmentation. Different from existing multi-modal methods that fuse information from different modalities by a single model, with ML, an ensemble of modality-specific models learn collaboratively and teach each other to distill both the characteristics and the commonality between high-level representations of different modalities. The proposed ML not only enables the superiority for multi-modal learning but can also handle missing modalities by transferring knowledge from existing modalities to missing ones. Additionally, we present a modality-aware (MA) module, where the modality-specific models are interconnected and calibrated with attention weights for adaptive information exchange. The proposed modality-aware mutual learning (MAML) method achieves promising results for liver tumor segmentation on a large-scale clinical dataset. Moreover, we show the efficacy and robustness of MAML for handling missing modalities on both the liver tumor and public brain tumor (BRATS 2018) datasets. Our code is available at https://github.com/YaoZhang93/MAML.

연구 동기 및 목표

• 대조 강화 CT 스캔을 활용하여 다중 모달 간 종양 분할의 정확도와 내성 향상을 도모한다.
• 임상 실무에서 단일 단계(arterial 또는 venous)만 이용 가능한 경우 발생하는 모달리티 결측 문제를 해결한다.
• 모달리티별 표현을 학습하고 적응형 주의를 통해 효과적이고 해석 가능한 다중 모달 특징 융합을 가능하게 한다.
• 고정된 융합 전략이나 일방향 지식 정착에 의존하는 기존 방법의 한계를 극복한다.
• 완전한 다중 모달 입력뿐만 아니라 결측 모달리티가 있는 부분 입력도 지원하는 프레임워크를 개발한다.

제안 방법

• 모델은 각 CT 단계(arterial 및 venous)에서 특징을 추출하기 위해 모달리티별 완전 컨volution 네트워크(FCNs)의 집합을 사용한다.
• 모달리티 인식(MA) 모듈은 각 모달리티의 관련성을 기반으로 특징을 적응형으로 가중하고 융합하기 위한 학습 가능한 주의 맵을 계산한다.
• 모달리티별 모델 간에 상호 학습(ML)을 적용하여 이중 방향 지식 정착을 가능하게 하여 일반화 및 내성 향상을 도모한다.
• 모델 간 예측을 일치시키기 위해 내부 손실(모델별 분할 손실)과 공동 손실(지식 정착 손실)의 조합을 사용하여 프레임워크를 훈련한다.
• 랜덤 반사, 회전, 변형 및 감마 보정을 통한 데이터 증강을 적용하여 3D CT 볼륨에서 종합적으로 엔드 투 엔드로 훈련한다.
• 대규모 임상 간 종양 데이터셋과 결측 모달리티 시나리오를 위한 공개된 BRATS 2018 뇌 종양 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 모달리티별 모델 간 상호 학습 전략이 표준 다중 모달 융합을 넘어서 분할 성능 향상을 이끌 수 있는가?
• RQ2 모달리티 인식 주의 메커니즘은 다중 모달 의료 영상 분할에서 효과적이고 해석 가능한 특징 융합을 제공할 수 있는가?
• RQ3 제안된 방법은 특히 단일 단계만 이용 가능한 경우 결측 모달리티를 얼마나 잘 처리하는가?
• RQ4 상호 학습 메커니즘은 모달리티 간 지식을 효과적으로 전달하여 동맥기 및 정맥기 간 성능 격차를 줄일 수 있는가?
• RQ5 이 프레임워크는 간 종양 분할을 넘어서 다른 다중 모달 의료 영상 분석 과제로도 일반화 가능한가?

주요 결과

• MAML은 임상 간 종양 데이터셋에서 89.6%의 Dice 스코어를 기록하여 기준 앙상블(86.7%)과 최신 기술 수준의 방법들(nnUNet, OctopusNet)을 능가한다.
• 모달리티 인식 모듈은 해석 가능한 주의를 가능하게 한다: 정맥 영상은 종양 가장자리와 허위 캡슐에 집중하고, 동맥 영상은 종양 내부에 집중한다.
• BRATS 2018 데이터셋에서 T1ce 모달리티만 이용 가능한 상황에서 MAML은 전체 종양 분할에 대해 78.32 ± 1.41의 Dice를 기록하여 KD-Net(76.98 ± 1.54), U-HVED(62.4), HeMIS(58.5)를 능가한다.
• 단일 모달리티만 이용 가능한 경우 MAML은 동맥기와 정맥기 간 성능 격차를 줄여 강력한 지식 전이 능력을 보여준다.
• 비정착 모델 대비 상호 학습 전략이 성능 향상을 크게 향상시켰으며, MS+MA 기준 대비 2.9%의 Dice 향상을 기록했다.
• 이 방법은 결측 모달리티에 대해 강력한 내성을 보이며, 단일 단계만 존재하는 경우에도 높은 성능을 유지하여 실제 임상 적용에 매우 중요하다.