[论文解读] Evaluating large language models in medical applications: a survey

Xiaolan Chen, Jiayang Xiang+4 more|arXiv (Cornell University)|May 13, 2024

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本综述通过整合现有研究，评估了大型语言模型（LLMs）在医疗应用中的表现，涵盖评估数据源、任务场景和方法论。它识别出医疗LLM评估中的关键挑战，并呼吁建立标准化、可靠的评估框架，以确保临床安全与有效性。

ABSTRACT

Large language models (LLMs) have emerged as powerful tools with transformative potential across numerous domains, including healthcare and medicine. In the medical domain, LLMs hold promise for tasks ranging from clinical decision support to patient education. However, evaluating the performance of LLMs in medical contexts presents unique challenges due to the complex and critical nature of medical information. This paper provides a comprehensive overview of the landscape of medical LLM evaluation, synthesizing insights from existing studies and highlighting evaluation data sources, task scenarios, and evaluation methods. Additionally, it identifies key challenges and opportunities in medical LLM evaluation, emphasizing the need for continued research and innovation to ensure the responsible integration of LLMs into clinical practice.

研究动机与目标

• 提供当前医疗背景下大型语言模型（LLMs）评估方法的全面综合分析。
• 识别并分类医疗LLM研究中使用的评估数据源。
• 分析临床决策支持、诊断和患者教育等常见任务场景。
• 检查现有的评估方法，包括自动指标和人工标注。
• 突出评估LLM在临床环境中负责任部署所面临的重大挑战及未来研究需求。

提出的方法

• 系统性回顾和整合现有文献中关于医疗LLM评估的研究。
• 将评估数据源分类为临床数据集、合成数据和公开基准。
• 将任务场景分类为临床推理、文档记录、患者互动和知识基础。
• 分析评估方法，包括自动指标（例如BLEU、ROUGE）、事实性评分和人工评估协议。
• 通过对比分析方法论方法，识别当前评估实践中的差距。
• 综合分析数据质量、幻觉现象和临床安全等挑战，并提出未来研究建议。

实验结果

研究问题

• RQ1 在医疗应用中评估LLMs时，主要使用哪些数据来源？
• RQ2 当前医疗LLM研究中最常评估的临床任务有哪些？
• RQ3 主要使用哪些评估方法？它们在可靠性和有效性方面如何比较？
• RQ4 评估LLMs用于医疗用途的主要挑战是什么？这些挑战如何影响临床可信度？
• RQ5 在支持医疗保健中安全有效部署方面，改进评估框架存在哪些机遇？

主要发现

• 医疗LLM评估使用了广泛多样的数据来源，包括真实临床记录、合成数据和精心整理的基准。
• 常见评估任务包括临床问答、医疗编码和患者回复生成。
• BLEU和ROUGE等自动指标与临床相关性相关性有限，凸显了对更优评估标准的需求。
• 人工评估仍是金标准，但资源消耗大且各研究间一致性不足。
• 幻觉和事实性错误是持续存在的挑战，尤其在复杂的诊断推理任务中更为明显。
• 缺乏标准化的评估协议，阻碍了可重复性及临床采纳。