[论文解读] MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports

Kevin Wu, Eric Q. Wu+8 more|ArXiv.org|May 16, 2025

Biomedical Text Mining and Ontologies被引用 4

一句话总结

一个开源数据集与基准，评估大型语言模型的诊断推理与临床医生撰写的推理的一致性，并显示对推理轨迹进行微调可以同时提升准确性和推理回忆。

ABSTRACT

Doctors and patients alike increasingly use Large Language Models (LLMs) to diagnose clinical cases. However, unlike domains such as math or coding, where correctness can be objectively defined by the final answer, medical diagnosis requires both the outcome and the reasoning process to be accurate. Currently, widely used medical benchmarks like MedQA and MMLU assess only accuracy in the final answer, overlooking the quality and faithfulness of the clinical reasoning process. To address this limitation, we introduce MedCaseReasoning, the first open-access dataset for evaluating LLMs on their ability to align with clinician-authored diagnostic reasoning. The dataset includes 14,489 diagnostic question-and-answer cases, each paired with detailed reasoning statements derived from open-access medical case reports. We evaluate state-of-the-art reasoning LLMs on MedCaseReasoning and find significant shortcomings in their diagnoses and reasoning: for instance, the top-performing open-source model, DeepSeek-R1, achieves only 48% 10-shot diagnostic accuracy and mentions only 64% of the clinician reasoning statements (recall). However, we demonstrate that fine-tuning LLMs on the reasoning traces derived from MedCaseReasoning significantly improves diagnostic accuracy and clinical reasoning recall by an average relative gain of 29% and 41%, respectively. The open-source dataset, code, and models are available at https://github.com/kevinwu23/Stanford-MedCaseReasoning.

研究动机与目标

• 提供一个开放基准，以评估LLM诊断推理与临床医生撰写的推理之间的一致性。
• 从 PubMed Central 的病例报道中，构建一个包含真实诊断案例且由临床医生提供推理的高质量大规模数据集。
• 使用 MedCaseReasoning 基准，对现有最先进与开源 LLMS 在诊断准确性与推理回忆方面进行评估。
• 证明在 MedCaseReasoning 推理轨迹上进行监督式微调能同时提升诊断准确性与推理回忆，并能推广至 NEJM CPC 案例。

提出的方法

• 从可获取的、临床医生撰写、包含鉴别诊断与最终诊断的病例报道中，组装出一个 14,489 例的 MedCaseReasoning 数据集。
• 将病例报道转换为问答格式，并进行多步筛选与临床医生验证以确保质量和真实性。
• 定义 Reasoning Recall 以量化临床医生提供的推理原因与模型推理轨迹之间的重叠程度。
• 使用 10-shot 提示对模型进行评估，采用将 LLM 作为评判者的方式（gpt-4o-mini）来评估诊断准确性。
• 通过将模型推理轨迹与 ground-truth 医生推理进行比较来计算推理回忆。
• 在 stitched 推理轨迹上对开源模型（Qwen-2.5-7B-Instruct、LLaMA-3.1-8B-Instruct、MedReason-8B）进行 3 个 epoch 的 SFT（监督微调）。
• 在 MedCaseReasoning 测试集以及 NEJM CPC 保留案例上比较性能，以评估泛化能力。

实验结果

研究问题

• RQ1 当前具备推理能力的 LLM 在诊断真实临床案例方面的表现如何？它们对临床医生提供的推理的复现程度有多高？
• RQ2 在 MedCaseReasoning 的推理轨迹上对 LLM 进行微调是否能提升诊断准确性与推理回忆？
• RQ3 MedCaseReasoning 的性能与 NEJM CPC 诊断案例的性能之间有何相关性？
• RQ4 对开源医学 LLM 进行有监督微调对回忆临床推理能力的影响如何？
• RQ5 Reasoning Recall 指标作为诊断能力代理的有效性如何？

主要发现

• 顶级模型的诊断推理能力有限；OpenAI o3 在 MedCaseReasoning 上的 10-shot 准确率为 64.5%（文本中报告为 65%），而 DeepSeek R1 为 48.0%。
• DeepSeek R1 的推理回忆在 MedCaseReasoning 测试集约为 64.2%，许多模型仅部分回忆临床医生的推理。
• 在 MedCaseReasoning 推理轨迹上的微调带来显著提升：MedReason-8B（SFT）10-shot 准确率达到 50.1%，基线为 38.2%；Qwen-2.5-7B（SFT）达到 42.5%，基线为 28.5%。
• 微调也提升了 NEJM CPC 的表现，表明具有对 MedCaseReasoning 数据集外延展的泛化能力。
• MedCaseReasoning 与 NEJM CPC 诊断性能之间存在较强相关性（图 2）。
• 推理回忆与模型总体性能相关（Pearson r = 0.710, p = 0.0485），并与推理轨迹长度相关（r = 0.790, p = 0.0196）。