[論文レビュー] Multimodal classification of Radiation-Induced Contrast Enhancements and tumor recurrence using deep learning

Robin Peretzke, Marlin Hanstein+16 more|arXiv (Cornell University)|Mar 12, 2026

Glioma Diagnosis and Treatment被引用数 0

ひとこと要約

RICE-Net は、放射線照射による造影増強と腫瘍再発を、長期的な MRI データと放射線治療線量マップを統合して区別する多モーダル3Dディープラーニングモデルで、独立したテストデータで 0.92 の macro F1 を達成します。

ABSTRACT

The differentiation between tumor recurrence and radiation-induced contrast enhancements in post-treatment glioblastoma patients remains a major clinical challenge. Existing approaches rely on clinically sparsely available diffusion MRI or do not consider radiation maps, which are gaining increasing interest in the tumor board for this differentiation. We introduce RICE-NET, a multimodal 3D deep learning model that integrates longitudinal MRI data with radiotherapy dose distributions for automated lesion classification using conventional T1-weighted MRI data. Using a cohort of 92 patients, the model achieved an F1 score of 0.92 on an independent test set. During extensive ablation experiments, we quantified the contribution of each timepoint and modality and showed that reliable classification largely depends on the radiation map. Occlusion-based interpretability analyses further confirmed the model's focus on clinically relevant regions. These findings highlight the potential of multimodal deep learning to enhance diagnostic accuracy and support clinical decision-making in neuro-oncology.

研究の動機と目的

• 放射線誘発性造影増強（RICE）を治療後の GBM 患者の腫瘍再発と区別する。
• 長期的な MRI データと放射線治療線量分布を組み込み、診断精度を向上させる。
• 各モダリティの寄与を定量化し、最も情報量の多い入力を識別する。
• オクルージョン解析によるモデルの焦点が解釈可能であることを示す。
• 神経腫瘍学における早期の自動意思決定支援の潜在性を強調する。

提案手法

• volumetric 医用画像に適合させた 3D ResNet-18 アーキテクチャを使用。
• 三つの入力モダリティを統合する：術後MRI（MRI post-OP）、造影イベントMRI（MRI event）、放射線線量（RD）マップをチャネルごとに融合。
• ANTS 登録、HD-BET 頭蓋骨除去、z-score 正規化、224x224x224 ボクセルへの切り抜きを用いてデータを前処理。
• 800エポック、5-fold クロスバリデーション、Adam オプティマイザ、クラスバランスサンプリングで訓練。
• 主にmacro F1スコアで評価し、オクルージョンベースの解釈可能性分析を実施。
• 各モダリティと組み合わせのアブレーション研究を行い、各モダリティの寄与を定量。

Figure 1 : Axial slice of sample subject with tumor recurrence. On the left, the post-operative MRI with the resection area highlighted with a red circle. The middle image shows the new progression, which is to be classified as recurrence or RICE. On the right, the radiation treatment plan is displa

実験結果

リサーチクエスチョン

• RQ1 多モーダル3Dディープラーニングモデルは、従来の T1 強調 MRI および放射線線量マップを用いて RICE と腫瘍再発を区別できるか。
• RQ2 このタスクにおける各入力モダリティ（MRI post-OP、MRI event、RD）の相対的診断価値はどれくらいか。
• RQ3 MRI データだけと比較して、放射線線量を MRI データと統合することで分類性能は向上するか。
• RQ4 RICE と再発を区別する際、モデルはどこに焦点を当て、臨床的に意味のある領域はどこか。

主な発見

• RD マップ単独での検証 macro F1 は最高値の 0.78 を示した。
• MRI post-OP と MRI event のみではそれぞれ 0.70、0.58 の F1 を示した。
• RD+MRI post-OP は 0.828、RD+MRI event は 0.83、3Input 全体では 0.804 の検証 F1。
• 独立テストセットでは、クロスバリデーションモデルのアンサンブルが 0.916 の macro F1 を達成。
• アブレーション結果は、放射線線量情報が高度に有益であり、モダリティを組み合わせることで補完的な向上が得られることを示した。
• オクルージョン分析は高線量領域と臨床的に関連する領域を示し、意味のある領域に対するモデルの焦点を裏付けた。

Figure 2 : F1 Macro after 800 training epochs on validation data (striped) aggregated across all folds and majority vote on the test data (dotted) by input volume combinations with cross validation standard deviation as error bars.