[论文解读] Large language models in medicine: the potentials and pitfalls

Jesutofunmi A. Omiye, Haiwen Gui+3 more|arXiv (Cornell University)|Aug 31, 2023

Artificial Intelligence in Healthcare and Education参考文献 68被引用 6

一句话总结

本文对医学领域大型语言模型（LLMs）进行了全面综述，阐述了其在临床任务中的能力，如医学推理、患者沟通和诊断支持，同时强调了幻觉、偏见和可解释性不足等关键风险。本文为医疗从业者提供了理解、评估并负责任地将LLMs整合到临床工作流程中的教程指南。

ABSTRACT

Large language models (LLMs) have been applied to tasks in healthcare, ranging from medical exam questions to responding to patient questions. With increasing institutional partnerships between companies producing LLMs and healthcare systems, real world clinical application is coming closer to reality. As these models gain traction, it is essential for healthcare practitioners to understand what LLMs are, their development, their current and potential applications, and the associated pitfalls when utilized in medicine. This review and accompanying tutorial aim to give an overview of these topics to aid healthcare practitioners in understanding the rapidly changing landscape of LLMs as applied to medicine.

研究动机与目标

• 向医疗从业者传授大型语言模型（LLMs）在临床环境中基本原理、能力与局限性的知识。
• 分析LLMs在医学领域当前及新兴的应用，包括临床决策支持、患者互动和医学教育。
• 识别并讨论关键风险，如幻觉、偏见以及LLM输出缺乏透明度。
• 通过结构化的教程框架，指导临床医生负责任地采用和评估LLMs。
• 通过解决伦理、技术和实际挑战，弥合人工智能开发与临床实施之间的鸿沟。

提出的方法

• 系统性综述并整合现有关于LLMs在医疗保健中应用的文献。
• 对医学领域LLM应用场景进行分类，包括临床推理、文档记录和患者沟通。
• 通过案例研究和真实世界案例分析模型行为，重点关注性能与可靠性。
• 使用临床安全标准评估事实性幻觉、数据偏见和可解释性不足等风险。
• 开发教程框架，指导临床医生负责任地评估和部署LLMs。
• 整合LLM开发者与医疗系统之间机构合作的洞察，以指导实际部署。

实验结果

研究问题

• RQ1 大型语言模型在医学中的主要临床应用场景是什么？
• RQ2 大型语言模型在医学考试问答和患者查询响应等任务中的表现如何？
• RQ3 在临床环境中部署LLMs时，主要风险是什么，特别是在安全性和可靠性方面？
• RQ4 医疗从业者如何评估并减轻LLM输出中幻觉和偏见的风险？
• RQ5 需要哪些框架或指南，以确保LLMs负责任地整合到临床工作流程中？

主要发现

• LLMs在医学推理任务中表现强劲，包括模拟执业考试题目，但存在显著的错误率。
• LLMs能有效辅助患者沟通和临床文档记录，减轻临床医生的文档负担。
• 一个重大风险是生成看似合理但错误的信息（即幻觉），尤其在复杂诊断场景中更为明显。
• 训练数据中的偏见导致模型在不同人群中的表现存在差异，引发公平性问题。
• LLM决策过程缺乏可解释性和透明度，限制了临床信任和监管审批。
• LLM开发者与医疗系统之间的机构合作正在加速LLMs在真实临床环境中的部署，但需经过严格的安全验证。