[논문 리뷰] Multimodal classification of Radiation-Induced Contrast Enhancements and tumor recurrence using deep learning

Robin Peretzke, Marlin Hanstein외 16명|arXiv (Cornell University)|2026. 03. 12.

Glioma Diagnosis and Treatment인용 수 0

한 줄 요약

RICE-Net은 방사선 유도 대비 증가를 뇌종양 재발과 구분하는 다중 모달 3D 딥 러닝 모델로, 종단 MRI 데이터와 방사선 치료 용량 맵을 통합하여 독립 테스트 세트에서 0.92 macro F1을 달성한다.

ABSTRACT

The differentiation between tumor recurrence and radiation-induced contrast enhancements in post-treatment glioblastoma patients remains a major clinical challenge. Existing approaches rely on clinically sparsely available diffusion MRI or do not consider radiation maps, which are gaining increasing interest in the tumor board for this differentiation. We introduce RICE-NET, a multimodal 3D deep learning model that integrates longitudinal MRI data with radiotherapy dose distributions for automated lesion classification using conventional T1-weighted MRI data. Using a cohort of 92 patients, the model achieved an F1 score of 0.92 on an independent test set. During extensive ablation experiments, we quantified the contribution of each timepoint and modality and showed that reliable classification largely depends on the radiation map. Occlusion-based interpretability analyses further confirmed the model's focus on clinically relevant regions. These findings highlight the potential of multimodal deep learning to enhance diagnostic accuracy and support clinical decision-making in neuro-oncology.

연구 동기 및 목표

• 치료 후 GBM 환자에서 방사선 유도 대비 증가(RICE)를 교모세포종 재발과 구분한다.
• 진단 정확도를 향상시키기 위해 종단 MRI 데이터와 방사선 치료용량 분포를 통합하여 진단 정확도를 향상시킨다.
• 각 입력 모달리티의 기여도를 정량화하고 가장 정보성이 높은 입력을 식별한다.
• 오클루전 분석을 통해 모델의 주목 영역에 대한 해석 가능한 통찰을 제공한다.
• 신경 종양학에서 조기 자동화된 의사결정 지원의 가능성을 강조한다.

제안 방법

• 부피 기반 의료 영상에 적합하도록 조정된 3D ResNet-18 아키텍처를 사용한다.
• 채널 단위 융합으로 세 가지 입력 모달리티를 통합한다: 수술 후 MRI (MRI post-OP), 대비 이벤트 MRI (MRI event), 및 방사선 용량 (RD) 맵.
• ANTS 등록, HD-BET 두개골 제거, z-score 정규화 및 224x224x224 복셀로 자르기로 데이터를 전처리한다.
• 800 에포크, 5-폴드 교차 검증, Adam 옵티마이저 및 클래스 균형 샘플링으로 학습한다.
• 주로 macro F1-점수로 평가하고 occlusion 기반 해석 가능성 분석을 수행한다.
• 각 입력 모달리티와 조합에 걸친 제거(아블레이션) 연구를 수행하여 각 모달리티의 기여를 정량화한다.

Figure 1 : Axial slice of sample subject with tumor recurrence. On the left, the post-operative MRI with the resection area highlighted with a red circle. The middle image shows the new progression, which is to be classified as recurrence or RICE. On the right, the radiation treatment plan is displa

실험 결과

연구 질문

• RQ1 전통적인 T1 가중 MRI와 방사선 용량 맵을 사용하여 다중 모달 3D 딥 러닝 모델이 RICE를 종양 재발과 구분할 수 있는가?
• RQ2 이 작업에서 각 입력 모달리티(MRI post-OP, MRI event, RD)의 상대적 진단 가치는 무엇인가?
• RQ3 MRI 데이터 단독에 비해 MRI 데이터에 방사선 용량을 통합하면 분류 성능이 향상되는가?
• RQ4 RICE를 재발과 구분할 때 모델이 주목하는 영역은 어디이며, 그 영역이 임상적으로 의미가 있는가?

주요 결과

• RD 맵 단독이 0.78의 가장 높은 단일 모달리티 검증 macro F1을 산출했다.
• MRI post-OP와 MRI event 단독의 F1 점수는 각각 0.70과 0.58로 더 낮았다.
• RD+MRI post-OP은 0.828를 달성했고, RD+MRI event은 0.83, 세 입력 모두를 사용할 때는 0.804의 검증 F1을 얻었다.
• 독립 테스트 세트에서 교차 검증된 모델들의 앙상블이 0.916 macro F1을 달성했다.
• 제거 연구 결과 방사선 용량 정보가 매우 유익하며, 모달리티를 결합하면 보완적인 이득이 있음을 보여주었다.
• 오클루전 분석은 고용량 영역과 임상적으로 관련된 영역을 강조했고, 이는 모델의 의미 있는 영역에 초점을 맞춘다는 것을 뒷받침한다.

Figure 2 : F1 Macro after 800 training epochs on validation data (striped) aggregated across all folds and majority vote on the test data (dotted) by input volume combinations with cross validation standard deviation as error bars.