[论文解读] A Survey of Large Language Models Attribution

Dongfang Li, Zetian Sun+6 more|arXiv (Cornell University)|Nov 7, 2023

Topic Modeling被引用 5

一句话总结

本综述对大语言模型（LLMs）中的归因机制进行了全面分析，对来源（预训练数据、模型外知识）进行分类，涵盖评估方法与归因方法——如直接生成、事后检索与事后生成技术。它识别出关键挑战，如召回率低、幻觉现象与偏见，并提出一种分类体系以提升 LLM 生成内容的事实一致性与可验证性。

ABSTRACT

Open-domain generative systems have gained significant attention in the field of conversational AI (e.g., generative search engines). This paper presents a comprehensive review of the attribution mechanisms employed by these systems, particularly large language models. Though attribution or citation improve the factuality and verifiability, issues like ambiguous knowledge reservoirs, inherent biases, and the drawbacks of excessive attribution can hinder the effectiveness of these systems. The aim of this survey is to provide valuable insights for researchers, aiding in the refinement of attribution methodologies to enhance the reliability and veracity of responses generated by open-domain generative systems. We believe that this field is still in its early stages; hence, we maintain a repository to keep track of ongoing studies at https://github.com/HITsz-TMG/awesome-llm-attributions.

研究动机与目标

• 通过改进源归因来提升事实一致性，以解决开放域 LLM 中持续存在的幻觉问题。
• 系统性地对归因来源进行分类，包括预训练数据与外部知识，以明确信息来源。
• 在检索与推理任务中，评估现有归因技术（直接生成、事后检索、事后生成与专用系统）的表现。
• 识别关键挑战，如召回率低、来源模糊与模型偏见，这些因素阻碍了可靠归因。
• 提供统一的分类体系并维护一个公开的代码仓库，以支持 LLM 归因领域的持续研究。

提出的方法

• 将归因来源分类为预训练数据（如 ORCA、ROOTS）与模型外知识（如检索增强型、Retro、FiD）。
• 将归因方法分类为四类：直接生成归因（如 RECITE、IFL）、事后检索回答（如 SearChain、Self-RAG）、事后生成归因（如 RARR、SAPLMA）以及专用归因系统（如 WebGPT、GopherCite）。
• 将评估指标与关键性能维度对应：可验证性（如 FActScore、AttrScore）、忠实度（如 XOR-AttriQA）与可靠性（如 WICE、Auto-AIS）。
• 整合可解释性原则，将归因与模型透明度联系起来，强调可追溯性与用户信任。
• 使用分层分类体系（图 2）对归因领域进行结构化组织，以支持系统性比较与研究导航。
• 维护一个公开的 GitHub 仓库（https://github.com/HITsz-TMG/awesome-llm-attributions），用于追踪不断演进的方法与数据集。

实验结果

研究问题

• RQ1 不同归因机制（直接生成、事后检索、事后生成）在召回率、精确率与可验证性方面的表现如何比较？
• RQ2 LLMs 使用的主要信息来源是什么，它们如何影响归因的可靠性？
• RQ3 现有评估基准（如 CiteBench、ALCE、HAGRID）在多大程度上衡量了事实一致性与源可追溯性？
• RQ4 归因技术在保持模型连贯性与响应质量的同时，如何减轻幻觉现象？
• RQ5 在真实 LLM 应用中，实现高召回率、低偏见归因的关键挑战是什么？

主要发现

• 通过使用户能够将主张追溯到其来源，归因显著提升了 LLM 输出的可验证性与可信度，减少了对不可验证生成的依赖。
• 事后生成归因方法（如 RARR 与 SAPLMA）在识别并纠正生成后的幻觉主张方面展现出潜力，但召回率仍不稳定。
• 评估基准如 FActScore 与 AttrScore 表明，当前模型在复杂事实问答任务中常未能引用相关来源，平均 FActScore 值低于 0.6。
• 直接归因技术（如 IFL 与 RECITE）实现了更高的精确率，但召回率较低，尤其在分布外或罕见事实场景下。
• 检索增强方法（如 Self-RAG、LLatrieval）通过将回应基于检索到的文档，提升了事实一致性，但其性能严重依赖于检索质量。
• 本综述识别出高召回率归因的关键缺口：大多数方法未能引用所有相关来源，导致在多跳或复杂推理任务中出现不完整或误导性的可追溯性。