[论文解读] A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions

Lei Huang, Weijiang Yu+9 more|arXiv (Cornell University)|Nov 9, 2023

Text Readability and Simplification被引用 207

一句话总结

这项综述提供了对 LLM 幻觉的精炼分类法，分析数据–训练–推断原因，评估检测基准，并概述缓解方法。

ABSTRACT

The emergence of large language models (LLMs) has marked a significant breakthrough in natural language processing (NLP), fueling a paradigm shift in information acquisition. Nevertheless, LLMs are prone to hallucination, generating plausible yet nonfactual content. This phenomenon raises significant concerns over the reliability of LLMs in real-world information retrieval (IR) systems and has attracted intensive research to detect and mitigate such hallucinations. Given the open-ended general-purpose attributes inherent to LLMs, LLM hallucinations present distinct challenges that diverge from prior task-specific models. This divergence highlights the urgency for a nuanced understanding and comprehensive overview of recent advances in LLM hallucinations. In this survey, we begin with an innovative taxonomy of hallucination in the era of LLM and then delve into the factors contributing to hallucinations. Subsequently, we present a thorough overview of hallucination detection methods and benchmarks. Our discussion then transfers to representative methodologies for mitigating LLM hallucinations. Additionally, we delve into the current limitations faced by retrieval-augmented LLMs in combating hallucinations, offering insights for developing more robust IR systems. Finally, we highlight the promising research directions on LLM hallucinations, including hallucination in large vision-language models and understanding of knowledge boundaries in LLM hallucinations.

研究动机与目标

• 定义并为聚焦于事实性与忠实性之 LLM 幻觉的精炼分类法提供理由。
• 分析在数据、训练和推理阶段产生幻觉的根本原因。
• 评审 LLM 幻觉的检测方法与评估基准。
• 提出解决根本原因以及实际部署考量的缓解策略。
• 突出可信赖 LLMs 的开放挑战与未来研究方向。

提出的方法

• 提出一种分层、细粒度的分类法，将事实性幻觉（不一致、捏造）与忠实性幻觉（指令、上下文、逻辑）区分开来，并设有子类别。
• 将幻觉原因与数据质量、训练动态以及推理/解码过程联系起来，并给出示例。
• 调研现有的用于事实性与忠实性的幻觉的检测技术与基准。
• 概述全面的缓解策略，包括数据增强、去偏、知识边界管理、模型编辑、检索增强和解码改进。
• 将提议的分类法与先前的综述进行比较，以强调以因果驱动的一致性缓解。

实验结果

研究问题

• RQ1 LLM 幻觉的主要类别有哪些？它们与事实性和忠实性之间有何关系？
• RQ2 哪些数据、训练和推理因素会导致 LLM 的幻觉？
• RQ3 如何检测和衡量幻觉？存在哪些基准？
• RQ4 哪些缓解策略最能解决已识别的幻觉根本原因？

主要发现

• 作者定义了一个双-pronged 分类法（事实性 vs 忠实性），并设有清晰的子类型以捕捉 LLM 特有的幻觉现象。
• 与数据相关的原因包括来源缺陷、知识边界和数据利用不佳，导致事实性与偏见问题。
• 与训练相关的原因涵盖预训练、对齐以及目标相关因素，可能引发幻觉或未能缓解。
• 推理相关的原因关注解码随机性、表示以及上下文注意力，影响输出保真度。
• 综述记录了针对事实性与忠实性的多种检测方法与基准，并讨论了与根本原因对应的缓解策略。