[论文解读] Med-R$^2$: Crafting Trustworthy LLM Physicians via Retrieval and Reasoning of Evidence-Based Medicine

Keer Lu, Liang Zheng+7 more|ArXiv.org|Jan 21, 2025

Ethics in Clinical Research被引用 3

一句话总结

Med-R2 提出一个证据基础医学（EBM）对齐的检索与推理框架，通过粗到细的证据搜索、再排序和 CoT 指导推理来提升 LLM 在医学任务中的表现，且无需额外训练成本。

ABSTRACT

Large Language Models (LLMs) have exhibited remarkable capabilities in clinical scenarios. Despite their potential, existing works face challenges when applying LLMs to medical settings. Strategies relying on training with medical datasets are highly cost-intensive and may suffer from outdated training data. Leveraging external knowledge bases is a suitable alternative, yet it faces obstacles such as limited retrieval precision and poor effectiveness in answer extraction. These issues collectively prevent LLMs from demonstrating the expected level of proficiency in mastering medical expertise. To address these challenges, we introduce Med-R^2, a novel LLM physician framework that adheres to the Evidence-Based Medicine (EBM) process, efficiently integrating retrieval mechanisms as well as the selection and reasoning processes of evidence, thereby enhancing the problem-solving capabilities of LLMs in healthcare scenarios and fostering a trustworthy LLM physician. Our comprehensive experiments indicate that Med-R^2 achieves a 13.27\% improvement over vanilla RAG methods and even a 4.55\% enhancement compared to fine-tuning strategies, without incurring additional training costs. Furthermore, we find that our LLaMA3.1-70B + Med-R$^2$ surpasses frontier models, including GPT-4o, Claude3.5-Sonnet and DeepSeek-V3 by 1.05\%, 6.14\% and 1.91\%. Med-R$^2$ effectively enhances the capabilities of LLMs in the medical domain.

研究动机与目标

• 突出将 LLM 应用于医学领域面临的挑战：域内训练成本高、检索精度有限与答案抽取困难。
• 提出 Med-R2，一种以证据基础医学（EBM）为基础的 LLM 医师框架。
• 证明与 EBMS 集成的检索与推理在不增加额外训练成本的情况下提升医学问题求解能力。
• 在多种开源 LLM 与不同上下文窗口规模下展示鲁棒性。

提出的方法

• 建立一个与EBM 对齐的四阶段 Med-R2 流水线：问题表述、证据检索与评估、证据应用、效应评估。
• 构建包含四种资源类型（学术论文、条目、书籍、指南）的医学知识库，并对长文进行分段以便检索。
• 使用混合检索器（密集 + 稀疏）和带证据层级及有效性评分的粗到细重新排序器。
• 从证据中生成链式推理（CoT）示范，辅助目标模型的 reformulation 与小样本学习。
• 应用粗到细的文档筛选及16类文档类型评分，以使答案结构与查询意图相匹配。
• 在多种开源 LLMs（Qwen、LLaMA 等）和数据集（MedQA-USMLE、MedQA-MCMLE、MedMCQA、PubMedQA、MMLU-Med）上进行评估。

实验结果

研究问题

• RQ1 EBM 指导的检索与推理框架在不同数据集的医学问答准确性上有何影响？
• RQ2 将密集与稀疏检索结合对医学证据精确性与答案质量有何影响？
• RQ3 上下文窗口大小与模型规模如何与 Med-R2 的医学领域表现相互作用？
• RQ4 Med-R2 是否能够在不进行昂贵的模型微调的情况下，维持或超越微调基线性能？
• RQ5 CoT 的引入在检索前后推理中的贡献有哪些？

主要发现

• Med-R2 在不同模型与数据集上对直接响应基线和原始 RAG 均显示出平均提升。
• 在所有测试模型中，Med-R2 的表现比 vanilla RAG 高 14.87%，比微调（不额外训练成本）高 3.59%。
• 轻量级模型（7B–8B）通过外部知识增强获得特别大的收益（相对增益约为 78%–80%）。
• Med-R2 在跨数据集评估中优于微调，凸显通过外部知识与检索获得的更好泛化能力。
• CoT 增强的变体显示出上下文窗口和规模的依赖性，大模型和更长的上下文带来更稳健的增益；初始检索中的 CoT 对小模型可能表现不佳。