[논문 리뷰] Cross-Modal Information Maximization for Medical Imaging: CMIM

Tristan Sylvain, Francis Dutil외 5명|arXiv (Cornell University)|2020. 10. 20.

Radiomics and Machine Learning in Medical Imaging참고 문헌 28인용 수 4

한 줄 요약

이 논문은 교차 모odal 정보 최대화 프레임워크인 CMIM을 제안한다. 이는 훈련 중에 다양한 영상 모달리티(예: X-ray, MRI, 보고서) 간 상호정보를 최대화함으로써 의료 영상 표현 학습을 향상시킨다. 이를 통해 추론 시 모달리티 누락에 대한 모델의 강건성을 향상시키며, 흉부 X-ray 분류 및 뇌 종양 세그멘테이션에서 최신 기준(SOTA)을 초월한다. 특히 더 약한 모달리티를 사용할 경우 성능 향상이 두드러진다.

ABSTRACT

In hospitals, data are siloed to specific information systems that make the same information available under different modalities such as the different medical imaging exams the patient undergoes (CT scans, MRI, PET, Ultrasound, etc.) and their associated radiology reports. This offers unique opportunities to obtain and use at train-time those multiple views of the same information that might not always be available at test-time. In this paper, we propose an innovative framework that makes the most of available data by learning good representations of a multi-modal input that are resilient to modality dropping at test-time, using recent advances in mutual information maximization. By maximizing cross-modal information at train time, we are able to outperform several state-of-the-art baselines in two different settings, medical image classification, and segmentation. In particular, our method is shown to have a strong impact on the inference-time performance of weaker modalities.

연구 동기 및 목표

• 실제 의료 영상에서 일부 영상 모달리티가 추론 시 누락될 수 있는 상황에서의 모달리티 누락 문제를 해결하기 위해.
• 다양한 영상 모달리티 간 상호정보 최대화를 활용하여 다중 모달 의료 데이터의 표현 학습을 향상시키기 위해.
• 훈련 중에 모든 모달리티 간에 분류 가능한 특징이 유지되도록 함으로써, 특히 약한 또는 정보가 적은 모달리티의 성능과 강건성을 향상시키기 위해.
• 아키텍처 제약이나 모달리티별 설계가 필요 없는 일반화 가능한 프레임워크를 개발하여 다양한 의료 영상 작업에 광범위하게 적용 가능하도록 하기 위해.

제안 방법

• 이 방법은 대조 학습 목표를 사용하여 다양한 모달리티(예: CT, MRI, 보고서)의 국소적 및 전역적 표현 간 상호정보를 최대화하는 딥 네트워크를 훈련시킨다.
• 이중 브랜치 인코더 구조를 사용한다: 하나는 각 모달리티의 국소적 특징을 위한 것이고, 다른 하나는 각 모달리티의 전역적 특징을 위한 것으로, 공유된 다중 모달 전역 임베딩을 갖는다.
• 딥 인포맥스와 AM-DIM에 영감을 받은 신경망 추정기를 사용하여 상호정보 추정을 수행하고, 국소-국소 및 국소-전역 대조 손실을 최적화한다.
• 분류 작업의 경우 국소-전역 상호정보 손실을 포함하지만, 세그멘테이션 작업의 경우 국소 특징을 생략하여 공간적 맥락을 우선시한다.
• 과제별 손실(예: 분류나 세그멘테이션에 적합한 교차 엔트로피)과 상호정보 손실을 함께 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 모듈러리하고 일반적인 설계를 하여, 어떤 조합의 모달리티도 가능하며 공유 가중치나 고정된 아키텍처 제약이 필요하지 않다.

실험 결과

연구 질문

• RQ1 훈련 중에 교차 모달 상호정보를 최대화함으로써, 추론 시 일부 모달리티가 누락되었을 경우 모델의 일반화 및 강건성 향상이 가능한가?
• RQ2 다중 모달 표현 간 상호정보 최대화가 의료 영상 분류 및 세그멘테이션 작업 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 약한 또는 정보가 적은 모달리티(예: 저신호 MRI 시퀀스)의 추론 시 유용성을 향상시키는가?
• RQ4 공유 가중치 등의 아키텍처 제약 없이, 상호정보 기반 프레임워크가 기존 최신 기준 다중 모달 학습 방법을 초월할 수 있는가?
• RQ5 특히 해당 모달리티가 열 劣한 경우, 테스트 시 단일 모달리티만 제공될 때 CMIM이 성능 향상에 얼마나 기여하는가?

주요 결과

• CMIM은 Open-I 흉부 X-ray 분류 작업에서 TieNet과 ResNet50를 모두 압도하여, 특히 훈련 데이터가 제한된 경우 더 높은 AUC를 달성했다.
• 이 방법은 모달리티 불균형 문제를 크게 완화시켰다. 보고서가 부족할 경우 모델이 영상 데이터를 무시하는 경향이 있었지만, 모달리티 간 상호정보를 강제함으로써 이를 방지했다.
• BRATS-2015 세그멘테이션 작업에서 CMIM은 모든 평가 지표에서 Hemis, Mean, MLP 기준선을 뛰어넘는 최신 기준 성능을 달성했다.
• 약한 모달리티—예를 들어 FLAIR 및 T1W MRI 시퀀스—에서 가장 뚜렷한 성능 향상을 보이며, 분류 신호가 낮을 경우에도 강건성이 향상됨을 입증했다.
• 제거 실험 결과, 국소-전역 상호정보 손실이 분류 작업에서는 성능 향상에 기여했지만, 세그멘테이션 작업에서는 전역 특징이 더 중요하기 때문에 효과가 덜 뚜렷했다.
• 결과는 CMIM이 모달리티 간에 분류 가능한 정보를 효과적으로 유지함으로써, 테스트 시 단일 모달리티만 존재하더라도 강력한 추론 성능을 달성할 수 있음을 검증했다.