[論文レビュー] CoRe-BT: A Multimodal Radiology-Pathology-Text Benchmark for Robust Brain Tumor Typing

Juampablo E. Heras Rivera, Daniel K. Low+6 more|arXiv (Cornell University)|Mar 4, 2026

Glioma Diagnosis and Treatment被引用数 0

ひとこと要約

CoRe-BT は MRI、全スライド病理、診断テキストを統合した臨床的に基づくマルチモーダルベンチマークを導入し、推論時の欠搾モダリティに対応する融合フレームワーク（CoRe-BT-Fusion）を提供します。

ABSTRACT

Accurate brain tumor typing requires integrating heterogeneous clinical evidence, including magnetic resonance imaging (MRI), histopathology, and pathology reports, which are often incomplete at the time of diagnosis. We introduce CoRe-BT, a cross-modal radiology-pathology-text benchmark for brain tumor typing, designed to study robust multimodal learning under missing modality conditions. The dataset comprises 310 patients with multi-sequence brain MRI (T1, T1c, T2, FLAIR), including 95 cases with paired H&E-stained whole-slide pathology images and pathology reports. All cases are annotated with tumor type and grade, and MRI volumes include expert-annotated tumor masks, enabling both region-aware modeling and auxiliary learning tasks. Tumors are categorized into six clinically relevant classes capturing the heterogeneity of common and rare glioma subtypes. We evaluate tumor typing under variable modality availability by comparing MRI-only models with multimodal approaches that incorporate pathology information when present. Baseline experiments demonstrate the feasibility of multimodal fusion and highlight complementary modality contributions across clinically relevant typing tasks. CoRe-BT provides a grounded testbed for advancing multimodal glioma typing and representation learning in realistic scenarios with incomplete clinical data.

研究の動機と目的

• 不完全なマルチモーダル臨床データでの脳腫瘍タイプ診断をロバストに動機づける。
• 膠腫の臨床的に意味のある、病理医が検証した階層的ラベリングスキームを作成する。
• MRIと組織病理の埋め込みをテキスト対応コンテキストと融合させる CoRe-BT-Fusion を提案する。
• モダリティ利用可否のシナリオを評価し、ベースラインとなるマルチモーダル結果を提供する。

提案手法

• MRI、WSI、病理レポート入力と推論時の観測セットの可変性を持つ三モダリティタスクを形式化する。
• 3D体積から NeuroVFM を用いて MRI 埋め込みを抽出し、被験者レベルの表現を計算する。
• Prov-GigaPath を用いて WSI 埋め込みを抽出し、超長文コンテキストモデリングを用いてスライドレベルの表現を得る。
• 重み付けプローブ方式と学習可能な残差ゲートを用いてモダリティ埋め込みを融合し、モダリティ認識に基づく予測を可能にする。
• モダリティごとの線形プローブを訓練し、被験者ごとのモダリティの関連性を反映する融合モジュールと組み合わせる。
• 真値ラベルは病理医が検証した階層スキームに従い、評価は Level 1 のカテゴリとサブタイプ豊かなタスクに焦点を当てる。

Figure 1: Overview of the proposed CoRe-BT-Fusion framework. Pretrained histopathology and MRI foundation models generate modality-specific embeddings, which are fused for supervised tumor type prediction under variable modality availability.

実験結果

リサーチクエスチョン

• RQ1 欠損モダリティがある場合でも、モダリティ融合は単一モダリティのベースラインより脳腫瘍タイプ診断を改善できるか。
• RQ2 Level 1 クラス、WHO グレード、LGG/HGG タスクを横断してモダリティ欠損の影響はどのように変化するか。
• RQ3 病理情報（利用可能な場合）を含めると、放射線診断だけよりも細分類膠腫診断を改善できるか。

主な発見

• CoRe-BT-Fusion を用いたマルチモーダル学習は、モダリティ専門の線形プローブに対してマクロ精度、適合率、再現率、F1スコアを改善する。
• LGG/HGG および WHO グレードタスクでは、病理情報を欠いた融合が完全な融合より時に優れており、ヒストロジーの病理学的解釈に基づくモデルの利点を示唆する。
• Level 1 の分類では、マルチモーダル CoRe-BT-Fusion がすべてのバリエーションを上回り、荒い分類から細分類へ臨床的に意味のあるカテゴリで最大の利得を示す。
• このベンチマークは、臨床的に関連するタイピングタスク全体で放射線表現と病理表現の補完的な寄与を示している。