[논문 리뷰] MEDSYN: Benchmarking Multi-EviDence SYNthesis in Complex Clinical Cases for Multimodal Large Language Models

Boqi Chen, Xudong Liu외 6명|arXiv (Cornell University)|2026. 02. 25.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

MEDSYN 벤치마크는 다국어, 다중 모달 임상 사례를 최대 7개의 증거 유형으로 평가하여 18 MLLMs의 DDx 생성 및 FDx 선택을 평가하며, 이질적 증거 합성 및 교차 모달 활용의 격차를 드러냄. 또한 교차 모달 격차를 정량화하고 개입을 안내하기 위해 Evidence Sensitivity를 도입함.

ABSTRACT

Multimodal large language models (MLLMs) have shown great potential in medical applications, yet existing benchmarks inadequately capture real-world clinical complexity. We introduce MEDSYN, a multilingual, multimodal benchmark of highly complex clinical cases with up to 7 distinct visual clinical evidence (CE) types per case. Mirroring clinical workflow, we evaluate 18 MLLMs on differential diagnosis (DDx) generation and final diagnosis (FDx) selection. While top models often match or even outperform human experts on DDx generation, all MLLMs exhibit a much larger DDx--FDx performance gap compared to expert clinicians, indicating a failure mode in synthesis of heterogeneous CE types. Ablations attribute this failure to (i) overreliance on less discriminative textual CE ($\it{e.g.}$, medical history) and (ii) a cross-modal CE utilization gap. We introduce Evidence Sensitivity to quantify the latter and show that a smaller gap correlates with higher diagnostic accuracy. Finally, we demonstrate how it can be used to guide interventions to improve model performance. We will open-source our benchmark and code.

연구 동기 및 목표

• 다국어 다중 모달 임상 사례에서 MLLM이 차등 진단(DDx) 생성과 최종 진단(FDx) 선택을 얼마나 잘 수행하는지 평가한다.
• 사례당 최대 7가지 증거 유형과 8장의 이미지를 통해 실제 임상 워크플로를 반영하도록 모델을 평가한다.
• 이질적 임상 증거를 합성하고 개입을 안내하는 병목 현상을 식별한다.

제안 방법

• 452건의 사례(영어 및 중국어)로 구성된 다국어, 다중 모달 벤치마크(MEDSYN)를 구축하여 최대 7가지 증거 유형과 사례당 8.42장의 이미지를 포괄한다.
• DDx 생성(개방형) 및 FDx 선택(폐쇄형 MCQ)에서 18개의 MLLM(독점형, 오픈소스, 도메인 특화)을 평가한다.
• GPT-5를 자동 DDx 판정자로 사용하고 FDx에 대해 임상의 확인을 수행하며, 오답 선택지를 위한 적대적 정제 프로세스를 도입한다.
• 문헌 텍스트 CE를 제거하는 Remove-Text와 텍스트 CE를 무작위 토큰으로 대체하는 Random-Text 두 가지 차감들을 수행하여 증거 편향을 연구한다.
• Evidence Sensitivity를 도입하여 각 CE 유형이 모델의 결정에 미치는 영향을 정량화하고, 모달리티 간 이미지와 전문가 유래 텍스트 발견을 비교한다.
• 교차 모달 증거 활용 격차를 줄이기 위한 개입(테스트 시점 프롬프트 보강 및 특정 SFT)을 시연한다.

실험 결과

연구 질문

• RQ1 최신 MLLMs가 매우 다중 모달, 다국어 사례에서 임상적으로 포괄적인 DDx 목록을 생성하고 FDx를 정확히 선택할 수 있는가?
• RQ2 DDx 커버리지와 FDx 정확도 사이의 격차에 기여하는 요인은 무엇이며, 텍스트 증거와 시각 증거 및 교차 모달 정렬이 이 격도에 어떤 영향을 미치는가?
• RQ3 텍스트 CE 의 의존도를 줄이거나 교차 모달 증거를 정렬하는 것이 진단 성능을 개선하는가, 그리고 이것이 모델 미세조정에 어떻게 가이드를 제공하는가?
• RQ4 언어 및 임상 전문 분야에 따른 모델 성능 차이가 얼마나 나타나며, 도메인 특화 학습이 단순 매개변수 규모 확장보다 우수할 수 있는가?

주요 결과

• 최고 성능 모델은 DDx 생성에서 임상적으로는 의사보다 선도하는 경우가 많으나 FDx 선택에서 뒤처져, 이질적 CE 유형 전반에서 합성의 어려움을 나타내는 DDx–FDx 격차가 상당함(영어에서 약 20 포인트)
• 모델이 텍스추얼 CE(예: 병력)에 과도하게 의존하고 구별 가능한 시각 CE를 충분히 활용하지 못하는 경향이 있어, 텍스트 CE를 제거하거나 무작위화하면 이미지에 주의를 전환해 FDx 정확도가 의도치 않게 상승할 수 있음
• 시각적 이해도는 여전히 병목: 시각 CE에 대한 전문가 유래 텍스트 해석을 제공하면 FDx에서 10포인트 이상 이득을 얻을 수 있으며, 이는 교차 모달 정렬 문제를 핵심으로 지적
• Evidence Sensitivity는 실용적인 지표이며, 교차 모달 CE 활용 격차가 작을수록 진단 정확도가 높아지는 경향이 있어 개입의 가이드를 제공할 수 있음
• 두 가지 개입이 성능을 향상시킴: (i) 진단 시 활용되지 않는 CE를 강조하도록 프롬프트를 보강하는 테스트 타임 프롬프트 보강, (ii) 현미경 이미지가 많은 데이터로 특정 감독 학습(SFT)을 수행하여 측정 가능한 정확도 향상을 제공
• 도메인 특화 의료 MLLMs는 특정 전문 분야에서 더 큰 일반 모델보다 뛰어날 수 있는데, 예를 들어 심장학, 호흡기학 분야에서 미세조정 중 학습된 특수 매핑 덕분이다