[论文解读] Creating Trustworthy LLMs: Dealing with Hallucinations in Healthcare AI

Muhammad Aurangzeb Ahmad, Ilker Yaramis+1 more|arXiv (Cornell University)|Sep 26, 2023

Artificial Intelligence in Healthcare and Education被引用 14

一句话总结

本论文讨论在面向医疗保健的 LLM 中监测、衡量和缓解幻觉，以实现可信、透明和负责任的使用，详细介绍评估方法、缓解策略与未来展望。

ABSTRACT

Large language models have proliferated across multiple domains in as short period of time. There is however hesitation in the medical and healthcare domain towards their adoption because of issues like factuality, coherence, and hallucinations. Give the high stakes nature of healthcare, many researchers have even cautioned against its usage until these issues are resolved. The key to the implementation and deployment of LLMs in healthcare is to make these models trustworthy, transparent (as much possible) and explainable. In this paper we describe the key elements in creating reliable, trustworthy, and unbiased models as a necessary condition for their adoption in healthcare. Specifically we focus on the quantification, validation, and mitigation of hallucinations in the context in healthcare. Lastly, we discuss how the future of LLMs in healthcare may look like.

研究动机与目标

• 通过解决幻觉输出，推动在医疗保健领域对 LLMs 的谨慎但积极的采用。
• 在医疗保健 AI 中定义幻觉，并识别其对安全、偏见、隐私和责任的影响。
• 提出一个在数据、模型和部署场景中评估与缓解幻觉的框架。
• 突出可信赖的医疗保健 LLM 的实用防护措施和未来方向。

提出的方法

• 讨论两种评估情景：模型内部访问和黑箱输出，强调自我检查与可解释性。
• 描述用于事实性与对齐度的人类评估与自动化指标（如 FactScore、FActuality 概念）以评估幻觉。
• 概述多管齐下的缓解策略，包括 HITL、算法修正、微调、提示改进、对抗训练、输入验证、记忆增强和模型选择。
• 解决基准数据的可靠性以及在将数据集和输出用于训练或评估前需由领域专家进行验证的需求。
• 提供关于监管、安全和在医疗保健 AI 中实际采用考虑的前瞻性讨论。

实验结果

研究问题

• RQ1 在模型访问受限时，如何有效地评估和量化医疗保健 LLMs 的幻觉？
• RQ2 在高风险医疗任务中，哪种人-in-the-loop、算法和数据为中心的策略组合最能缓解幻觉？
• RQ3 哪些基准和评估实践能确保医疗保健 LLM 输出的真实性和可靠性？
• RQ4 在减少医疗保健应用中幻觉方面，模型选择与外部知识源的作用是什么？

主要发现

• 幻觉是在医疗保健领域采用 LLM 的根本阻碍，因为它们可能在诊断或治疗方面提供错误信息。
• 评估可以通过模型内部检查或黑箱输出分析来进行，并辅以人类和自动化方法。
• 缓解是多管齐下的，包括 HITL 参与、提示策略、微调、对抗训练、输入验证和外部记忆整合。
• 基准数据必须由领域专家验证，以避免让模型基于包含错误信息的数据集。
• 如 NeMo Guardrails 等工具与方法正在出现，用于在医疗保健情境中检测和管理幻觉。