[论文解读] Clinfo.ai: An Open-Source Retrieval-Augmented Large Language Model System for Answering Medical Questions using Scientific Literature

Alejandro Lozano, Scott L. Fleming+2 more|arXiv (Cornell University)|Oct 24, 2023

Topic Modeling被引用 6

一句话总结

Clinfo.ai 是一个开源的、基于检索增强的大语言模型系统，通过动态检索并综合相关科学文献来回答临床问题。在 PubMedRS-200 基准测试中，其表现优于其他开源开放域问答（OpenQA）系统，整体 UniEval 得分最高提升达 14.9%，尤其在 TL;DR 摘要生成方面表现突出，展示了其在无需依赖源系统综述情况下的强大且准确的医学问答能力。

ABSTRACT

The quickly-expanding nature of published medical literature makes it challenging for clinicians and researchers to keep up with and summarize recent, relevant findings in a timely manner. While several closed-source summarization tools based on large language models (LLMs) now exist, rigorous and systematic evaluations of their outputs are lacking. Furthermore, there is a paucity of high-quality datasets and appropriate benchmark tasks with which to evaluate these tools. We address these issues with four contributions: we release Clinfo.ai, an open-source WebApp that answers clinical questions based on dynamically retrieved scientific literature; we specify an information retrieval and abstractive summarization task to evaluate the performance of such retrieval-augmented LLM systems; we release a dataset of 200 questions and corresponding answers derived from published systematic reviews, which we name PubMed Retrieval and Synthesis (PubMedRS-200); and report benchmark results for Clinfo.ai and other publicly available OpenQA systems on PubMedRS-200.

研究动机与目标

• 为解决临床医生和研究人员难以跟上医学文献快速增长的问题，这些文献每年在 PubMed 中超过 100 万篇。
• 解决在临床问答任务中评估检索增强型大语言模型时缺乏高质量数据集和标准化基准任务的问题。
• 开发并发布 Clinfo.ai，一个开源的端到端系统，可检索相关文献并为临床问题生成抽象性摘要。
• 提出 PubMedRS-200 数据集，包含 200 个临床问题，其答案源自系统综述，支持对基于大语言模型的系统进行可复现的评估。
• 提供一个标准化的评估框架，结合信息检索与抽象摘要任务，包含人工标准答案和无源数据指标。

提出的方法

• Clinfo.ai 采用检索增强生成（RAG）流程，首先利用大语言模型生成的查询检索相关 PubMed 文章。
• 系统使用微调后的语言模型，从检索到的文献中生成简洁的抽象摘要（TL;DR）和更详细的综合摘要。
• 通过双任务基准进行评估：信息检索与抽象摘要任务，均与人工生成的黄金标准进行对比。
• 评估涵盖多种场景：无限制、受限和无源搜索，以模拟真实世界部署条件。
• 使用自动化指标如 UniEval、BERTScore、ROUGE-L、METEOR 和 CTC 评估摘要质量和相关性。
• PubMedRS-200 数据集源自从已发表系统综述中提取的 200 个问题，其答案与参考文献均经人工校对以确保准确性和代表性。

Figure 1: Schematic Representation of the Protocol for Retrieving Abstracts from PubMed and Generating Title-Based Questions

实验结果

研究问题

• RQ1 像 Clinfo.ai 这类基于检索增强的大语言模型系统，是否能在使用科学文献回答临床问题方面超越现有的闭源工具？
• RQ2 Clinfo.ai 在不同评估场景下的表现如何，包括无限制、受限和无源搜索条件？
• RQ3 Clinfo.ai 的性能在多大程度上依赖于对源系统综述的访问？在无此访问的情况下，它是否仍能生成高质量摘要？
• RQ4 在医学问答与摘要任务中，自动化评估指标与人类偏好之间的相关性如何？
• RQ5 TL;DR（太长；没看）摘要格式在性能上相比完整抽象摘要生成有何优势？

主要发现

• 与其它系统相比，Clinfo.ai 在 UniEval 总体得分上最高提升达 14.9%，证明其在检索增强型问答任务中表现更优。
• Clinfo.ai 的 TL;DR 摘要模式即使在使用相同检索文章的情况下，也显著优于完整摘要模式和综合摘要+TL;DR 模式。
• 即使无法访问源系统综述，Clinfo.ai 生成的摘要仍比其他系统更贴近黄金标准结论。
• 该系统在不同输出长度下均保持一致的性能表现，且在较短（TL;DR）和较长（Synthesis）输出中均有提升。
• 在无限制搜索场景下评估时性能最佳，因为源系统综述在 96.5% 的案例中被成功检索到。
• 指标排名差异（如 Elicit 在 BERTScore 和 ROUGE-L 上优于 Clinfo.ai，但 Clinfo.ai 在 METEOR 和 CTC（SF）上表现更优）凸显了自动化指标的局限性，强调了多指标评估的必要性。

Figure 2: Clinfo.ai: A RetA LLM system for retrieving and summarizing scientific articles