[论文解读] Language agents achieve superhuman synthesis of scientific knowledge

Michael Skarlinski, Sam Cox+7 more|arXiv (Cornell University)|Sep 10, 2024

Language and cultural evolution被引用 37

一句话总结

PaperQA2，作为前沿的语言模型代理，在文献检索与总结任务上达到或超过博士级别的人类水平，在 LitQA2 上优于其他系统，并通过 ContraCrow 和 WikiCrow 评估实现大规模的矛盾检测。

ABSTRACT

Language models are known to hallucinate incorrect information, and it is unclear if they are sufficiently accurate and reliable for use in scientific research. We developed a rigorous human-AI comparison methodology to evaluate language model agents on real-world literature search tasks covering information retrieval, summarization, and contradiction detection tasks. We show that PaperQA2, a frontier language model agent optimized for improved factuality, matches or exceeds subject matter expert performance on three realistic literature research tasks without any restrictions on humans (i.e., full access to internet, search tools, and time). PaperQA2 writes cited, Wikipedia-style summaries of scientific topics that are significantly more accurate than existing, human-written Wikipedia articles. We also introduce a hard benchmark for scientific literature research called LitQA2 that guided design of PaperQA2, leading to it exceeding human performance. Finally, we apply PaperQA2 to identify contradictions within the scientific literature, an important scientific task that is challenging for humans. PaperQA2 identifies 2.34 +/- 1.99 contradictions per paper in a random subset of biology papers, of which 70% are validated by human experts. These results demonstrate that language model agents are now capable of exceeding domain experts across meaningful tasks on scientific literature.

研究动机与目标

• 推动在科学文献检索与综合中实现可靠、以事实为基础的 AI 使用。
• 在检索、摘要与矛盾检测任务中开发并验证一个严格的人机对比框架。
• 创建并基准化数据集（LitQA2、ContraDetect），以指导模型与系统设计。
• 展示可扩展的工具（WikiCrow、ContraCrow），提升生物学文献的事实性并检测矛盾。

提出的方法

• 开发 PaperQA2——一个具备多步工具集的检索增强生成代理（Paper Search、Gather Evidence、Generate Answer、Citation Traversal）。
• 通过上下文摘要（RCS）和证据的前 k 条排序来支撑回答，以提高相关性和事实性。
• 将 LitQA2 设计为 248 个聚焦于非摘要证据的多选检索题，使用 DOIs 来匹配来源。
• 以 LitQA2 指标（精确度、准确性、召回率）将 PaperQA2 与人类专家及其他系统进行比较。
• 设计 WikiCrow 以生成维基百科风格的基因条目，并将其事实性与人类维基百科条目进行比较评估。
• 构建 ContraCrow，通过提取论断并通过矛盾检测提示和李克特量表评分对照文献进行评估来检测矛盾。

Figure 1: A . Schematic of PaperQA2’s agentic toolset along with relevant action representations within each tool. B. PaperQA2 performance across question answering, cited article summarization, and contradiction detection. Error bars represent standard error.

实验结果

研究问题

• RQ1 语言模型代理能否在真实世界的科学文献检索任务中达到人类甚至超人水平的性能？
• RQ2 与人类撰写的科学摘要相比，检索增强生成代理在摘要任务上的表现如何？
• RQ3 AI 系统能否在大规模上系统地识别科学文献中的矛盾，其发现与专家评估相比如何？
• RQ4 哪些设计选择（RCS、引用遍历、上下文深度）对事实性和检索准确性影响最大？
• RQ5 生物学文献中 AI 派生的矛盾与人类判断相比如何？

主要发现

• PaperQA2 在 LitQA2 上的精确度为 85.2%，准确度为 66.0%，超越基于人类标注的精确度基线，并在准确度方面达到人类水平。
• 人类在 LitQA2 上达到 73.8% 的精确度和 67.7% 的准确度，PaperQA2 在精确度上统计显著超越人类（p=0.0036），在准确度上差异不显著（p=0.66）。
• 深层上下文摘要（RCS）和引用遍历在整个 LitQA2 阶段显著提升了检索准确性和 DOI 回忆率。
• WikiCrow 产出 240 条基因条目，未被引用率更低（3.5%）低于维基百科（13.6%），精确度更高（86.1%）于维基百科（71.2%），且平均长度更长。
• ContraCrow 在生物学论文中平均检测到 2.34 ± 1.99 条矛盾（n=93），其中 70% 的评估矛盾得到人类专家验证。
• 基于 ContraDetect 的评估给出 ROC AUC 为 0.842，在矛盾检测阈值为 8 时精确度为 88%。

Figure 2: A. Example LitQA2 question, PaperQA2 answer, and metadata. B. PaperQA2 performance on LitQA2 across technologies. C. PaperQA2 performance studies and ablations across component categories. Error bars are 95% CI. D. Aggregated LitQA2 DOI recall per PaperQA2 stage. Search Recall includes DOI