[논문 리뷰] EMAD: Evidence-Centric Grounded Multimodal Diagnosis for Alzheimer's Disease

Qiuhui Chen, Xiaolei Yao외 3명|arXiv (Cornell University)|2026. 02. 22.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

EMAD는 3D MRI와 임상 데이터를 함께 추론하여 구조화되고 증거에 기반한 AD 진단 보고서를 생성하는 비전–언어 프레임워크로, 명시적인 문장–증거–해부학 근거화 및 실행 가능한 규칙 RL 미세 조정을 제공합니다.

ABSTRACT

Deep learning models for medical image analysis often act as black boxes, seldom aligning with clinical guidelines or explicitly linking decisions to supporting evidence. This is especially critical in Alzheimer's disease (AD), where predictions should be grounded in both anatomical and clinical findings. We present EMAD, a vision-language framework that generates structured AD diagnostic reports in which each claim is explicitly grounded in multimodal evidence. EMAD uses a hierarchical Sentence-Evidence-Anatomy (SEA) grounding mechanism: (i) sentence-to-evidence grounding links generated sentences to clinical evidence phrases, and (ii) evidence-to-anatomy grounding localizes corresponding structures on 3D brain MRI. To reduce dense annotation requirements, we propose GTX-Distill, which transfers grounding behavior from a teacher trained with limited supervision to a student operating on model-generated reports. We further introduce Executable-Rule GRPO, a reinforcement fine-tuning scheme with verifiable rewards that enforces clinical consistency, protocol adherence, and reasoning-diagnosis coherence. On the AD-MultiSense dataset, EMAD achieves state-of-the-art diagnostic accuracy and produces more transparent, anatomically faithful reports than existing methods. We will release code and grounding annotations to support future research in trustworthy medical vision-language models.

연구 동기 및 목표

• 임상 지침과 일치하고 각 주장에 대해 명시적인 증거를 제시하는 투명한 AD 진단 시스템 구축을 고무합니다.
• 각 문장을 임상 증거와 국소 뇌 해부학에 근거시킨 다중모달 비전–언어 모델을 제안합니다.
• 라벨 효율적 근거화 전이(GTX-Distill)를 통한 주석 비용 감소와 실행 가능한 규칙 RL 미세조정(GRPO)를 통한 임상 일관성 강화를 제안합니다.
• 대규모 코호트에서 보정된 진단 및 해부학적으로 충실한 보고를 가능하게 합니다.

제안 방법

• 양방향 교차-주의 융합을 통한 다중모달 인코더(3D sMRI 및 구조화된 임상 데이터)로 통합 표현을 얻습니다.
• 문장–증거–해부학(SEA) 근거화: 각 문장을 임상 증거에 근거시키고, 이어 3D MRI의 해부 마스크에 근거를 둡니다.
• GTX-Distill은 제한된 감독으로 학습된 교사로부터 학생이 생성한 보고서를 사용하는 모델로 근거화를 전달합니다.
• 실행 가능한 규칙 GRPO: 구조화된 출력, NIA-AA 일관성 및 추론–진단 함의를 강제하는 검증 가능한 보상과 함께 RL.
• 세 단계 학습: 사전 학습(ITC 및 재구성), GTX-Distill 및 SEA를 활용한 감독 미세조정, GRPO를 활용한 강화 미세조정.
• 근거화는 문장–증거 정렬을 위한 다중-양성 InfoNCE와 해부학 근거화를 위한 증거 조건부 3D 세분화를 사용합니다.

실험 결과

연구 질문

• RQ1 다중모달 모델이 임상 증거와 해부학적 위치지정 모두에 명시적으로 근거가 있는 AD 진단을 생성할 수 있을까?
• RQ2 GTX-Distill를 통한 근거 지식의 전달이 주석 비용을 감소시키면서 근거 품질을 보존할 수 있을까?
• RQ3 실행 규칙 강화 학습이 AD 보고에서 임상 진실성 및 진단 지침 준수를 향상시킬 수 있을까?
• RQ4 EMAD가 CN/MCI/AD 스테이징 및 AD-MultiSense에서 투명하고 해부학적으로 충실한 보고 생성을 어떻게 수행하는가?

주요 결과

방법	BLEU	METEOR	ROUGE	BERT	정확도 (%)	AUC (%)	민감도 (%)	특이도 (%)
CN vs CI - LLaVA-1.5-7B ∗	0.0831	0.2417	0.2795	0.8012	74.23	70.58	62.14	82.36
CN vs CI - LLaVA-Med ∗	0.1024	0.2635	0.3042	0.8137	76.41	73.27	64.89	84.72
CN vs CI - Med-PaLM-M ∗	0.1189	0.2826	0.3314	0.8293	79.12	76.84	67.53	86.19
CN vs CI - M3d-LaMed ∗	0.1375	0.2982	0.3598	0.8341	82.37	79.65	70.94	87.56
CN vs CI - LLaVA-1.5-7B	0.2973	0.4764	0.5987	0.8485	86.42	83.19	80.37	88.54
CN vs CI - LLaVA-Med	0.3186	0.4981	0.6179	0.8592	88.57	85.03	82.16	90.28
CN vs CI - Med-PaLM-M	0.3394	0.5173	0.6371	0.8726	90.13	87.42	84.95	92.07
CN vs CI - M3d-LaMed	0.3627	0.5419	0.6594	0.8748	91.28	89.16	86.72	93.14
CN vs CI - EMAD (ours)	0.5422	0.6790	0.7781	0.9130	93.33	91.83	88.67	95.00
CN vs MCI - LLaVA-1.5-7B ∗	0.0715	0.2283	0.2594	0.7886	71.18	68.47	63.52	77.39
CN vs MCI - LLaVA-Med ∗	0.0897	0.2472	0.2816	0.7991	73.42	70.59	66.84	79.21
CN vs MCI - Med-PaLM-M ∗	0.1123	0.2698	0.3097	0.8184	76.35	73.48	68.92	82.17
CN vs MCI - M3d-LaMed ∗	0.1294	0.2875	0.3391	0.8217	78.64	76.23	71.37	84.53
CN vs MCI - LLaVA-1.5-7B	0.2826	0.4627	0.5789	0.8421	84.27	82.14	79.63	87.18
CN vs MCI - LLaVA-Med	0.3018	0.4815	0.6012	0.8534	86.39	84.27	81.45	89.32
CN vs MCI - Med-PaLM-M	0.3241	0.5036	0.6228	0.8649	88.21	86.45	83.72	91.08
CN vs MCI - M3d-LaMed	0.3437	0.5219	0.6413	0.8685	89.47	88.06	85.29	92.36
CN vs MCI - EMAD (ours)	0.5343	0.6421	0.7912	0.9130	92.82	90.09	88.60	93.50
Three-way CN/MCI/AD - EMAD (ours)	-	-	-	-	89.4	87.8	90.6	86.3

• EMAD는 CN vs CI 및 CN vs MCI 과제에서 최첨단 진단 성능을 달성하여 보고 품질 지표와 정확도/AUC에서 강력한 의학 LLM 기반 모델을 능가합니다.
• SEA 근거화와 GTX-Distill은 문장–증거 및 증거–해부학 정합을 크게 향상시킵니다(R@1 최대 0.65, MAP 최대 0.76).
• 증거-조건부 3D 분할은 해마 및 내측 측두엽 근거화에서 이미지 전용 분할에 비해 더 높은 Dice 점수를 제공합니다.
• GTX-Distill은 라벨 효율적 근거 지식 전이를 가능하게 하여 교사 성능의 약 95%를 유지하며 근거 라벨의 25%만으로도 수행합니다.
• 실행 규칙 GRPO는 구조화된 형식의 유효성, NIA-AA 일관성 및 추론–진단 함의를 향상시키는 동시에 진단 정확도를 유지합니다.
• EMAD는 생성된 보고서에서 서술적 주장과 측정값 및 뇌 구조 간의 명시적 연결 고리를 제공합니다.