[논문 리뷰] M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients

Tao Zhou, Huazhu Fu외 5명|arXiv (Cornell University)|2020. 06. 01.

Brain Tumor Detection and Classification참고 문헌 34인용 수 16

한 줄 요약

이 논문은 뇌종양 환자의 전체 생존(Overall Survival, OS) 시간을 다중 영상적 자기공명영상(MRI) 스캔을 사용하여 예측하기 위한 엔드 투 엔드 다중모달리틱 다중채널 딥러닝 프레임워크인 M²Net을 제안한다. 각 모odal별 특성과 다중모달 공유 네트워크를 활용하여 서로 다른 모달 간의 상관관계를 포착하고, 모달 특성에 맞는 네트워크를 통해 고유한 영상 특성을 유지함으로써, BraTS 2018 데이터셋에서 기존 방법들을 능가하며 c-index 0.664 ± 0.061을 달성한다.

ABSTRACT

Early and accurate prediction of overall survival (OS) time can help to obtain better treatment planning for brain tumor patients. Although many OS time prediction methods have been developed and obtain promising results, there are still several issues. First, conventional prediction methods rely on radiomic features at the local lesion area of a magnetic resonance (MR) volume, which may not represent the full image or model complex tumor patterns. Second, different types of scanners (i.e., multi-modal data) are sensitive to different brain regions, which makes it challenging to effectively exploit the complementary information across multiple modalities and also preserve the modality-specific properties. Third, existing methods focus on prediction models, ignoring complex data-to-label relationships. To address the above issues, we propose an end-to-end OS time prediction model; namely, Multi-modal Multi-channel Network (M2Net). Specifically, we first project the 3D MR volume onto 2D images in different directions, which reduces computational costs, while preserving important information and enabling pre-trained models to be transferred from other tasks. Then, we use a modality-specific network to extract implicit and high-level features from different MR scans. A multi-modal shared network is built to fuse these features using a bilinear pooling model, exploiting their correlations to provide complementary information. Finally, we integrate the outputs from each modality-specific network and the multi-modal shared network to generate the final prediction result. Experimental results demonstrate the superiority of our M2Net model over other methods.

연구 동기 및 목표

• 국소적인 방사형형질 특징에 의존하는 전통적인 OS 예측 방법의 한계를 해결하고 복잡한 종양 패턴을 모델링하지 못하는 문제를 해결한다.
• T1, T1ce, T2, FLAIR와 같은 다중모달 MRI 데이터를 효과적으로 융합하면서도 모달 특성에 맞는 특징을 유지하는 도전 과제를 해결한다.
• 특징 학습과 생존 예측을 통합된 엔드 투 엔드 프레임워크로 통합하여 모델의 일반화 능력을 향상시키고 데이터-라벨 간의 관계를 효과적으로 활용한다.
• 새로운 다단계 융합 전략을 통해 다중모달 간 상관관계와 모달 내 특성의 고유성을 동시에 모델링함으로써 예측 성능을 향상시킨다.

제안 방법

• 계산 비용을 줄이고 사전 학습된 모델을 활용한 전이 학습을 가능하게 하기 위해 3D MRI 볼륨을 여러 시점에서 2D 이미지로 투영한다.
• 각 MRI 시퀀스(T1, T1ce, T2, FLAIR)에서 고수준의 모달 특성에 맞는 특징을 추출하기 위해 모달 특화 컨볼루션 네트워크를 활용한다.
• 다양한 MRI 모달 간 특징 간의 복잡한 상관관계를 모델링하기 위해 이중 풀링 기반의 다중모달 공유 네트워크를 사용한다.
• 모달 특화 네트워크와 공유 다중모달 네트워크의 출력을 조합하는 데 최적의 가중치를 학습하는 적응형 융합 레이어를 적용한다.
• 모든 네트워크를 엔드 투 엔드로 훈련하여 라벨 정보가 특징 학습을 이끌고 표현 품질을 향상시킨다.
• BraTS 2018 데이터셋을 사용하여 훈련 및 평가하며, 생존 시간 예측을 c-index 및 기타 지표를 사용한 회귀 과제로 설정한다.

실험 결과

연구 질문

• RQ1 특징 학습과 생존 결과 예측을 동시에 수행하는 엔드 투 엔드 딥러닝 프레임워크는 기존의 이중 단계 방법에 비해 OS 시간 예측 성능을 향상시킬 수 있는가?
• RQ2 모달 특화 특징 학습과 다중모달 상관관계 모델링이 함께 작용할 경우, 다중모달 MRI 기반 생존 예측 성능 향상에 어느 정도 기여하는가?
• RQ3 이중 풀링 기반의 다중모달 특징 융합 방식이 생존 예측 과제에서 단순 연결 또는 조기 융합 방식보다 어떻게 비교되는가?
• RQ4 모달 특화 표현과 공유 표현을 통합하는 제안된 다단계 융합 전략은 작은 의료 데이터셋에서 더 나은 일반화 능력과 강건성을 제공하는가?
• RQ5 특징 학습과 예측을 함께 최적화함으로써, 특히 장기 생존군에서 높은 내부 클래스 변동성을 보이는 생존 시간을 효과적으로 다룰 수 있는가?

주요 결과

• M²Net은 BraTS 2018 데이터셋에서 c-index 0.664 ± 0.061을 달성하여, 3D CNN 융합(0.587 ± 0.093) 및 TPCNN(0.636 ± 0.000) 등의 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 모달 특화 네트워크(0.621 ± 0.069)와 다중모달 공유 네트워크(0.611 ± 0.071)보다 뛰어난 성능을 보이며, 공동 학습과 융합의 유용성을 확인했다.
• 다중모달 융합은 일관되게 성능 향상을 이끌었다: T1ce와 T1의 융합은 단일 모달 예측보다 우수했으며, FLAIR를 추가로 융합함으로써 성능이 더욱 향상되었다.
• 제거 실험 결과, 모달 특화 학습과 공유 다중모달 모델링이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 저하됨을 입증했다.
• 정밀도 0.574 ± 0.141, 재현율 0.613 ± 0.075, F1 점수 0.589 ± 0.102를 기록하여 다양한 지표 간 균형 잡힌 성능을 보였다.
• 성능 향상에도 불구하고, 작은 데이터셋 크기, 생존 시간의 높은 내부 클래스 변동성, 모호한 클래스 경계 등으로 인해 성능에 한계가 있으며, 임상 데이터 통합 또는 데이터 증강 기법을 통해 추가 향상 가능성이 있음을 시사한다.