[논문 리뷰] ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities

Yixin Wang, Yang Zhang외 7명|arXiv (Cornell University)|2021. 06. 28.

Brain Tumor Detection and Classification참고 문헌 22인용 수 8

한 줄 요약

이 논문은 임상적 제약(예: 아티팩트, 알레르기, 스캔 시간 등)으로 인해 여러 MRI 모odalities가 누락된 상황에서도 뇌 종양 세그멘테이션을 수행하기 위해 적대적 공학습 네트워크(ACN)를 제안한다. ACN는 엔트로피 및 지식 적대적 모듈을 활용해 전체 모달리티 경로와 누락된 모달리티 경로 간의 결합 학습을 유도하며, 모달리티 간 상호 정보 전달 기반의 학습을 수행한다. ACN는 여러 모달리티가 누락된 상황에서도 WT에서 80% 이상, ET/TC에서 40% 이상의 DSC를 기록하여 임상적으로 도전적인 상황에서도 뛰어난 내성성을 입증한다.

ABSTRACT

Accurate segmentation of brain tumors from magnetic resonance imaging (MRI) is clinically relevant in diagnoses, prognoses and surgery treatment, which requires multiple modalities to provide complementary morphological and physiopathologic information. However, missing modality commonly occurs due to image corruption, artifacts, different acquisition protocols or allergies to certain contrast agents in clinical practice. Though existing efforts demonstrate the possibility of a unified model for all missing situations, most of them perform poorly when more than one modality is missing. In this paper, we propose a novel Adversarial Co-training Network (ACN) to solve this issue, in which a series of independent yet related models are trained dedicated to each missing situation with significantly better results. Specifically, ACN adopts a novel co-training network, which enables a coupled learning process for both full modality and missing modality to supplement each other's domain and feature representations, and more importantly, to recover the `missing' information of absent modalities. Then, two unsupervised modules, i.e., entropy and knowledge adversarial learning modules are proposed to minimize the domain gap while enhancing prediction reliability and encouraging the alignment of latent representations, respectively. We also adapt modality-mutual information knowledge transfer learning to ACN to retain the rich mutual information among modalities. Extensive experiments on BraTS2018 dataset show that our proposed method significantly outperforms all state-of-the-art methods under any missing situation.

연구 동기 및 목표

• 임상적 제약으로 인해 여러 MRI 모달리티가 누락된 상황에서 뇌 종양 세그멘테이션 문제를 해결하기 위해.
• 한 개 이상의 모달리티가 누락되었을 때 성능이 급격히 저하되는 통합 모델의 한계를 극복하기 위해.
• 각각의 누락된 모달리티 상황에 맞는 전용이지만 관련된 모델을 개발하여 세그멘테이션 정확도를 향상시키기 위해.
• 정보 이론적 원칙과 적대적 도메인/특징 정렬을 활용해 전체 모달리티에서 누락된 모달리티로 지식 전달을 가능하게 하기 위해.
• 무 supervision 적대적 학습을 통해 전체 모달리티와 누락된 모달리티 간의 표현에 대한 불확실성과 도메인 이동을 줄이기 위해.

제안 방법

• ACN는 이중 경로 아키텍처를 사용한다: 전체 모달리티 학습을 위한 다중 모달리티 경로와 단일 모달리티 추론을 위한 단일 모달리티 경로로 구성되어 있으며, 이 두 경로 간의 공학습을 가능하게 한다.
• 엔트로피 적대적 학습 모듈(EnA)은 예측 불확실성 분포를 정렬함으로써 전체 모달리티와 누락된 모달리티 표현 간의 도메인 갭을 최소화한다.
• 지식 적대적 학습 모듈(KnA)은 다중 모달리티 경로와 단일 모달리티 경로 간의 잠재 특징 표현을 정렬함으로써 특징 일관성을 향상시킨다.
• 모달리티 상호 정보 지식 전달 모듈(MMI)은 변동형 정보 최대화를 통해 누락된 모달리티 지식을 복구함으로써 풍부한 모달리티 간 상호의존성을 유지한다.
• 공학습 프레임워크는 일관성 손실 및 적대적 모듈을 사용해 두 경로를 동시에 최적화하며, 도메인 및 특징 표현 간 상호 강화를 가능하게 한다.
• 이 방법은 엔드 투 엔드로 훈련되며, 각 특정한 누락된 모달리티 구성에 맞게 적응되어 재학습 없이 전용 추론이 가능하다.

실험 결과

연구 질문

• RQ1 여러 MRI 모달리티가 누락된 뇌 종양 영상에서 공학습 프레임워크가 세그멘테이션 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 적대적 도메인 적응은 의료 영상 세그멘테이션에서 전체 모달리티와 누락된 모달리티 표현 간의 분포 갭을 어떻게 극복할 수 있는가?
• RQ3 모달리티 간 상호 정보를 얼마나 효과적으로 활용해 누락된 데이터 상황에서 지식을 복구할 수 있는가?
• RQ4 제안된 ACN은 모든 누락된 모달리티 구성에서 통합 모델보다 세그멘테이션 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ5 라벨이 없는 누락된 모달리티 데이터가 없이도 무 supervision 적대적 모듈이 예측 신뢰도 향상 및 표현 정렬을 어떻게 향상시킬 수 있는가?

주요 결과

• T1ce만 이용 가능한 조건에서 ACN은 전체 종양(WT)의 평균 DSC가 80.92%를 기록하여 KD-Net의 80.52%를 뛰어넘었다.
• T1ce와 Flair가 모두 누락된 도전적인 조건에서 ACN은 강화 종양(ET)의 DSC가 42.98%를 기록하여 KD-Net의 39.04%를 초월했다.
• T2만 이용 가능한 조건에서 ACN은 WT의 DSC가 87.30%를 기록하여 KD-Net의 85.14%를 뛰어넘었다.
• 제거 실험 결과, EnA, KnA, MMI 세 모듈이 상호 보완적으로 기여하며, 전체 ACN 모델이 T1ce만 존재하는 경우 평균 DSC 80.92%를 달성함을 확인했다.
• 정성적 결과에서는 ACN이 예측 불확실성(엔트로피)을 감소시키고, 높은 누락 모달리티 조건에서도 세그멘테이션 정확도를 향상시킴을 보였다.
• ACN는 다수의 모달리티가 누락된 모든 상황에서 뛰어난 내성성을 보였으며, 이전 방법들이 DSC 점수가 20% 미만으로 실패하는 상황에서도 유의미한 성능을 기록했다.