[논문 리뷰] Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumor Grading

Dunyuan Xu, Xi Wang외 2명|arXiv (Cornell University)|2024. 01. 17.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 주요 모odal을 기반으로 보조 모달리티의 특징 학습을 안내하는 크로스모달리티 가이던스 기반 다중모달 학습 프레임워크를 제안하며, 공간적 및 슬라이스 단위의 주의 메커니즘을 적용하여 정보가 풍부한 특징 추출을 향상시킨다. 이 방법은 BraTS2018에서 AUC 0.985 ± 0.019, BraTS2019에서 AUC 0.966 ± 0.021을 기록하여 최신 기술들보다 뚜렷한 성능 우위를 보였다.

ABSTRACT

Brain tumor represents one of the most fatal cancers around the world, and is very common in children and the elderly. Accurate identification of the type and grade of tumor in the early stages plays an important role in choosing a precise treatment plan. The Magnetic Resonance Imaging (MRI) protocols of different sequences provide clinicians with important contradictory information to identify tumor regions. However, manual assessment is time-consuming and error-prone due to big amount of data and the diversity of brain tumor types. Hence, there is an unmet need for MRI automated brain tumor diagnosis. We observe that the predictive capability of uni-modality models is limited and their performance varies widely across modalities, and the commonly used modality fusion methods would introduce potential noise, which results in significant performance degradation. To overcome these challenges, we propose a novel cross-modality guidance-aided multi-modal learning with dual attention for addressing the task of MRI brain tumor grading. To balance the tradeoff between model efficiency and efficacy, we employ ResNet Mix Convolution as the backbone network for feature extraction. Besides, dual attention is applied to capture the semantic interdependencies in spatial and slice dimensions respectively. To facilitate information interaction among modalities, we design a cross-modality guidance-aided module where the primary modality guides the other secondary modalities during the process of training, which can effectively leverage the complementary information of different MRI modalities and meanwhile alleviate the impact of the possible noise.

연구 동기 및 목표

• 단일 모달 모델의 한계와 다중모달 MRI 뇌 종양 등급화에서의 노이즈가 있는 융합 전략의 문제점을 해결하기 위해.
• 기존의 모달리티 융합 전략에서 발생하는 노이즈로 인한 성능 저하를 줄이기 위해.
• MRI 시퀀스 간 상호보완적 정보를 활용하여 모델의 강건성과 진단 정확도를 향상시키기 위해.
• 주요 모달리티를 기준으로 하여 보조 모달리티에서 정보가 풍부한 특징을 선택적으로 강화하는 가이던스 메커니즘을 개발하기 위해.
• 최소한의 전처리로 높은 성능을 달성하기 위해 원시 MRI 데이터에만 의존하기 위해.

제안 방법

• 다양한 MRI 모달리티에서 효율적인 특징 추출을 위해 경량 백본으로 ResNet Mix Convolution을 사용한다.
• 공간적 및 슬라이스 차원에서의 의미적 상호의존성을 포착하기 위해 이중 주의 메커니즘을 도입한다.
• 가장 높은 성능을 보이는 모달리티가 성능이 낮은 모달리티의 학습을 안내하는 크로스모달리티 가이던스 모듈을 설계한다.
• 주요 모달리티의 고수준 특징을 사용하여 보조 모달리티의 저수준 특징을 안내함으로써 의미적 격차를 메운다.
• 학습 단계 전반에 걸쳐 이전에 학습된 유용한 특징을 유지하기 위해 누적 학습 전략을 활용한다.
• 가이던스 및 주의 메커니즘을 통해 특징 학습을 정교화하기 위해 이중 단계 학습 프로세스를 사용한다.

실험 결과

연구 질문

• RQ1 주요 MRI 모달리티가 보조 모달리티의 학습 과정을 효과적으로 안내하여 노이즈를 줄이고 성능을 향상시킬 수 있는가?
• RQ2 공간적 및 슬라이스 차원에서의 이중 주의 메커니즘이 종양 등급화를 위한 특징 표현을 어떻게 향상시키는가?
• RQ3 크로스모달리티 가이던스가 다중모달 MRI 데이터의 단순 융합으로 인한 성능 저하를 완화하는가?
• RQ4 제안된 방법이 종양 ROI 레이블이나 방사선학적 특징 추출과 같은 전처리 없이도 최고 성능을 달성할 수 있는가?
• RQ5 다양한 데이터 분포를 가진 다른 데이터셋 간에서 모델의 강건성은 어떠한가?

주요 결과

• 제안된 방법은 BraTS2018 데이터셋에서 AUC 0.985 ± 0.019를 기록하여 단일 모달 및 다중 모달 기준선보다 뚜렷하게 뛰어난 성능을 보였다.
• BraTS2019 데이터셋에서는 AUC 0.966 ± 0.021을 달성하여 강력한 일반화 능력과 강건성을 입증하였다.
• 제거 실험을 통해 크로스모달리티 가이던스 및 이중 주의 구성 요소가 최적 성능을 내기 위해 필수적임을 확인하였다.
• 종양 ROI 진단 기준이나 방사선학적 특징 추출이 필요 없이도 기존 최고 수준의 방법들을 능가하는 성능을 보였다.
• 삼중 교차 검증을 통해 프레임워크가 데이터 분할 간 일관된 성능을 보이며 개선된 강건성을 확보하였다.
• 강력한 성능에도 불구하고 모델의 큰 파라미터 수와 이중 단계 학습 프로세스로 인해 효율성과 재현 가능성이 제한된다.