[논문 리뷰] CoRe-BT: A Multimodal Radiology-Pathology-Text Benchmark for Robust Brain Tumor Typing

Juampablo E. Heras Rivera, Daniel K. Low외 6명|arXiv (Cornell University)|2026. 03. 04.

Glioma Diagnosis and Treatment인용 수 0

한 줄 요약

CoRe-BT는 임상적으로 근거가 있는 다중모달 벤치마크를 MRI, 전체 슬라이드 병리학 및 진단 텍스트를 통합하고, 추론 시 누락 모달리티를 처리하기 위한 융합 프레임워크(CoRe-BT-Fusion)를 도입한다.

ABSTRACT

Accurate brain tumor typing requires integrating heterogeneous clinical evidence, including magnetic resonance imaging (MRI), histopathology, and pathology reports, which are often incomplete at the time of diagnosis. We introduce CoRe-BT, a cross-modal radiology-pathology-text benchmark for brain tumor typing, designed to study robust multimodal learning under missing modality conditions. The dataset comprises 310 patients with multi-sequence brain MRI (T1, T1c, T2, FLAIR), including 95 cases with paired H&E-stained whole-slide pathology images and pathology reports. All cases are annotated with tumor type and grade, and MRI volumes include expert-annotated tumor masks, enabling both region-aware modeling and auxiliary learning tasks. Tumors are categorized into six clinically relevant classes capturing the heterogeneity of common and rare glioma subtypes. We evaluate tumor typing under variable modality availability by comparing MRI-only models with multimodal approaches that incorporate pathology information when present. Baseline experiments demonstrate the feasibility of multimodal fusion and highlight complementary modality contributions across clinically relevant typing tasks. CoRe-BT provides a grounded testbed for advancing multimodal glioma typing and representation learning in realistic scenarios with incomplete clinical data.

연구 동기 및 목표

• 불완전한 다중모달 임상 데이터로 강건한 뇌종양 유형 분류를 목표로 한다.
• 뇌종양에 대해 임상의 의미가 있고 병리학자가 검증한 위계적 라벨링 체계를 만든다.
• MRI 및 조직병리 임베딩을 텍스트 인지 컨텍스트와 융합하기 위한 CoRe-BT-Fusion을 제안한다.
• 모달리티 가용성 시나리오를 평가하고 기본 다중모달 결과를 제공한다.

제안 방법

• MRI, WSI 및 병리 보고서 입력과 추론 시 가변 관찰 세트를 갖는 3-모달리티 태스크를 형식화한다.
• 3D 볼륨에서 NeuroVFM을 통해 MRI 임베딩을 추출하고 피사체 수준 표현을 계산한다.
• Prov-GigaPath를 통해 WSI 임베딩을 추출하여 초장 컨텍스트 모델링과 함께 슬라이드 수준 표현을 얻는다.
• 가중된 프로브 방식과 학습 가능한 잔여 게이트를 통해 모달리티 임베딩을 융합하여 모달리티 인식 예측을 가능하게 한다.
• 모달리티별 선형 프로브를 학습하고 이를 모달리티 관련성을 피사체별로 반영하는 융합 모듈과 결합한다.
• 정답 라벨은 병리학자 검증된 위계 체계를 따르며, 평가의 초점은 Level 1 범주 및 하위 유형이 풍부한 작업에 둔다.

Figure 1: Overview of the proposed CoRe-BT-Fusion framework. Pretrained histopathology and MRI foundation models generate modality-specific embeddings, which are fused for supervised tumor type prediction under variable modality availability.

실험 결과

연구 질문

• RQ1 모달리티 누락 상황에서 다중모달 융합이 단일 모달 기준선보다 뇌종양 유형 분류를 개선할 수 있는가?
• RQ2 Level 1 클래스, WHO 등급, LGG/HGG 작업에서 모달리티 제거 성능이 어떻게 달라지는가?
• RQ3 병리 정보가 이용 가능할 때 방사선만으로는 어려운 미세한 교세포 종양 분류를 개선하는가?

주요 결과

• 다중모달 학습과 CoRe-BT-Fusion은 모달리티 전문 선형 프로브 대비 매크로 정확도, 정밀도, 재현율 및 F1-점수를 향상시킨다.
• LGG/HGG 및 WHO 등급 작업에서 병리 제거 융합이 때때로 전체 융합보다 성능이 좋으며, 이는 조직학에 대한 병리 정보를 이용한 해석이 모델에 이익을 준다는 것을 시사한다.
• Level 1 분류에서는 다중모달 CoRe-BT-Fusion 모델이 모든 변형을 능가하며, 거친 분류에서 세밀한 임상적으로 의미 있는 범주로의 이익이 가장 크다.
• 벤치마크는 임상의 관련 유형 분류 작업에서 방사선 및 병리 표현의 보완적 기여를 보여준다.