[论文解读] CoRe-BT: A Multimodal Radiology-Pathology-Text Benchmark for Robust Brain Tumor Typing

Juampablo E. Heras Rivera, Daniel K. Low+6 more|arXiv (Cornell University)|Mar 4, 2026

Glioma Diagnosis and Treatment被引用 0

一句话总结

CoRe-BT 引入一个以临床为基础的多模态基准，整合 MRI、全切片病理以及诊断文本，具备在推理阶段处理缺失模态的融合框架（CoRe-BT-Fusion）。

ABSTRACT

Accurate brain tumor typing requires integrating heterogeneous clinical evidence, including magnetic resonance imaging (MRI), histopathology, and pathology reports, which are often incomplete at the time of diagnosis. We introduce CoRe-BT, a cross-modal radiology-pathology-text benchmark for brain tumor typing, designed to study robust multimodal learning under missing modality conditions. The dataset comprises 310 patients with multi-sequence brain MRI (T1, T1c, T2, FLAIR), including 95 cases with paired H&E-stained whole-slide pathology images and pathology reports. All cases are annotated with tumor type and grade, and MRI volumes include expert-annotated tumor masks, enabling both region-aware modeling and auxiliary learning tasks. Tumors are categorized into six clinically relevant classes capturing the heterogeneity of common and rare glioma subtypes. We evaluate tumor typing under variable modality availability by comparing MRI-only models with multimodal approaches that incorporate pathology information when present. Baseline experiments demonstrate the feasibility of multimodal fusion and highlight complementary modality contributions across clinically relevant typing tasks. CoRe-BT provides a grounded testbed for advancing multimodal glioma typing and representation learning in realistic scenarios with incomplete clinical data.

研究动机与目标

• 在不完整多模态临床数据下推动鲁棒的脑肿瘤分型。
• 建立一个临床意义强、病理学家验证的胶质瘤分层标注方案。
• 提出 CoRe-BT-Fusion，将 MRI 和组织病理嵌入与文本感知上下文进行融合。
• 评估模态可用性场景并提供基线多模态结果。

提出的方法

• 将 MRI、WSI 与病理报告输入 formalize 成一个含有三模态的任务，并在推理时具备可变观测集。
• 通过 NeuroVFM 对 3D 体积提取 MRI 嵌入并计算受试者层面的表示。
• 通过 Prov-GigaPath 提取 WSI 嵌入，获得带超长上下文建模的切片级表示。
• 通过带可学习残差门控的加权探针方案对模态嵌入进行融合，以实现模态感知的预测。
• 对每一模态训练线性探针，并将它们与一个融合模块结合，权重反映各受试者的模态相关性。
• 真值标签遵循病理学家验证的分层方案；评估聚焦于 Level 1 分类等级和亚型丰富的任务。

Figure 1: Overview of the proposed CoRe-BT-Fusion framework. Pretrained histopathology and MRI foundation models generate modality-specific embeddings, which are fused for supervised tumor type prediction under variable modality availability.

实验结果

研究问题

• RQ1 在缺失模态的情况下，多模态融合是否能优于单模态基线提高脑肿瘤分型？
• RQ2 模态缺失对 Level 1 类别、WHO 分级，以及 LGG/HGG 任务的表现影响有多大？
• RQ3 在可用病理信息时，是否能在放射学 alone 的基础上提升对胶质瘤的细粒度分型？

主要发现

• 多模态训练与 CoRe-BT-Fusion 相较于基于模态的线性探针，在宏观准确性、精准度、召回率和 F1-score 上均有提升。
• 在 LGG/HGG 与 WHO 分级任务中，病理信息被去除时的融合 иногда 优于完整融合，表明模型受益于对病理组织学的解释。
• 在 Level 1 分类任务中，多模态 CoRe-BT-Fusion 模型优于所有变体，显示对粗粒到细粒临床相关类别的最大收益。
• 该基准测试展示了放射学与病理表示在临床相关的分型任务中具有互补贡献。