[论文解读] How well do LLMs cite relevant medical references? An evaluation framework and analyses

Kevin Wu, Eric Q. Wu+8 more|arXiv (Cornell University)|Feb 3, 2024

linguistics and terminology studies被引用 39

一句话总结

本论文介绍 SourceCheckup，一种自动化管线，用于评估 LLMs 的引用来源在医疗陈述中的支撑程度，发现在顶级模型中存在显著的支撑缺口，并发布一个带专家注释的医疗问答数据集。

ABSTRACT

Large language models (LLMs) are currently being used to answer medical questions across a variety of clinical domains. Recent top-performing commercial LLMs, in particular, are also capable of citing sources to support their responses. In this paper, we ask: do the sources that LLMs generate actually support the claims that they make? To answer this, we propose three contributions. First, as expert medical annotations are an expensive and time-consuming bottleneck for scalable evaluation, we demonstrate that GPT-4 is highly accurate in validating source relevance, agreeing 88% of the time with a panel of medical doctors. Second, we develop an end-to-end, automated pipeline called extit{SourceCheckup} and use it to evaluate five top-performing LLMs on a dataset of 1200 generated questions, totaling over 40K pairs of statements and sources. Interestingly, we find that between ~50% to 90% of LLM responses are not fully supported by the sources they provide. We also evaluate GPT-4 with retrieval augmented generation (RAG) and find that, even still, around 30\% of individual statements are unsupported, while nearly half of its responses are not fully supported. Third, we open-source our curated dataset of medical questions and expert annotations for future evaluations. Given the rapid pace of LLM development and the potential harms of incorrect or outdated medical information, it is crucial to also understand and quantify their capability to produce relevant, trustworthy medical references.

研究动机与目标

• 开发一个自动化框架来评估医疗问答中的 LLM 来源归属。
• 创建一个带专家注释的医学问答数据集用于来源验证。
• 评估表现最佳的 LLMs（GPT-4 RAG/API、Claude v2.1、Mistral Medium、Gemini Pro）在来源支撑方面。
• 量化 URL 有效性、语句级支撑和回复级支撑等指标。
• 开源整理数据以便未来在可信人工智能医学基准测试中使用。

提出的方法

• 四模块 SourceCheckup 管线：问题生成、LLM 问答、语句与 URL 来源解析、以及来源验证。
• 使用 GPT-4 从 1200 个参考页面（梅奥诊所 Mayo Clinic、UpToDate、Reddit r/AskDocs）生成新问题。
• LLMs 提供含文本和引用 URL 的回答；回答解析为单独的语句。
• URL 下载并转换为纯文本；内容裁剪至GPT-4的 128K 令牌上限。
• 语句-来源对由 Source Verification 模型（GPT-4）自动评分以判断支撑。
• 三项指标：来源 URL 有效性（200 OK）、语句级支撑（任一来源支撑语句）、回复级支撑（所有语句有支撑）。
• 专家验证：GPT-4 自动任务对 US 授权医生进行验证；在来源相关性上的一致性为 88%。

Figure 1: Evaluation of the quality of source verification in LLMs on medical queries. Each model is evaluated on three metrics. Source URL Validity measures the proportion of generated URLs that return a valid webpage. Statement-level Support measures the percentage of statements that are supported

实验结果

研究问题

• RQ1 在 LLM 生成的医疗陈述中，提供的引文中有多少比例具有支撑？
• RQ2 LLMs 产生的有效、可检索的 URL 以及实际支撑其主张的情况有多常见？
• RQ3 检索式生成（RAG）是否提高来源支撑，提升幅度如何？
• RQ4 按问题来源（ Mayo Clinic、UpToDate、Reddit r/AskDocs）来源支撑的差异如何？
• RQ5 顶级 LLM 常引用的来源的质量与组成如何？（领域、US 基于与非 US、付费墙）

主要发现

• 在五款顶级模型中，50%到90% 的回答并未得到其提供来源的充分支撑。
• GPT-4 with RAG 显示出最佳的引文能力，但仅约 54% 的回答在回复层面得到充分支撑。
• GPT-4 API 在语句级支撑上更高（约 70%+ URL 有效性，且在某些情况下语句级支撑>70%）。
• 所有 API 端点模型均显示出大量使用 URL，但充分支撑的比例较低，Gemini Pro 约为 7% 完全支撑。
• RAG 有助于提升 URL 有效性并减少 URL 臆断，但专家认为验证任务仍具挑战性；医生在抽样对（~86-96%）的情况下与来源验证模型一致。
• 大多数被引用的来源为 US 基于 (.org/.gov) 且来自 Mayo Clinic、NIH、CDC，付费墙/无效页面较少。

Figure 2: Schematic of the SourceCheckup evaluation pipeline. To start, GPT-4 generates a question based on a given medical reference text. Each evaluated LLM produces a response based on this question, which includes the response text along with any URL sources. The LLM response is parsed for indiv