[论文解读] LLMs Will Always Hallucinate, and We Need to Live With This

Sourav Banerjee, Ayushi Agarwal+1 more|arXiv (Cornell University)|Sep 9, 2024

Legal Education and Practice Innovations被引用 24

一句话总结

本文认为幻觉是LLMs的内在、结构性特征，根植于其数学与逻辑基础，不能仅通过架构或数据来消除。

ABSTRACT

As Large Language Models become more ubiquitous across domains, it becomes important to examine their inherent limitations critically. This work argues that hallucinations in language models are not just occasional errors but an inevitable feature of these systems. We demonstrate that hallucinations stem from the fundamental mathematical and logical structure of LLMs. It is, therefore, impossible to eliminate them through architectural improvements, dataset enhancements, or fact-checking mechanisms. Our analysis draws on computational theory and Godel's First Incompleteness Theorem, which references the undecidability of problems like the Halting, Emptiness, and Acceptance Problems. We demonstrate that every stage of the LLM process-from training data compilation to fact retrieval, intent classification, and text generation-will have a non-zero probability of producing hallucinations. This work introduces the concept of Structural Hallucination as an intrinsic nature of these systems. By establishing the mathematical certainty of hallucinations, we challenge the prevailing notion that they can be fully mitigated.

研究动机与目标

• 以将幻觉构建为LLMs固有属性来框定，激发对LLM局限性的批判性审视。
• 定义并形式化结构性幻觉的概念，作为模型固有属性。
• 分析训练、检索、解释和生成阶段如何促成非零幻觉风险。
• 在模型生命周期内提出并评审缓解策略（训练、意图分类、信息检索和输出生成）。

提出的方法

• 给出LLM生成作为令牌级似然性的产物的正式观点。
• 在LLM背景下，将结构性幻觉作为不可判定性结果（例如 Halting、Emptiness、Acceptance）的一种后果进行介绍与解释。
• 调查相对于注意力的替代架构（如 Mamba、Jamba、KANs），并讨论它们对长上下文建模的影响。
• 描述迁移学习和参数高效微调方法（Adapters、BitFit、LoRA）作为实际缓解手段。
• 解释检索增强生成（RAG）及其在为输出提供依据方面的作用。
• 讨论不确定性量化和可信解释作为生成后辅助工具。

实验结果

研究问题

• RQ1 LLMs中的幻觉是可以避免的，还是它们的数学和逻辑结构的固有属性？
• RQ2 在LLM流水线的哪些阶段（训练、意图分类、信息检索、输出生成、生成后检查）会出现幻觉，如何缓解？
• RQ3 哪些替代架构或训练范式可能减少但不能消除幻觉？
• RQ4 检索、不确定性量化和可解释性方法是否能在实际中显著降低幻觉的影响？

主要发现

• 幻觉被认为是不可避免的，因为训练数据以及检索/分类/生成过程中的固有不可判定性和不完备性。
• 结构性幻觉被提议作为一种正式类别，用以描述源自LLM核心结构的幻觉，而不仅仅是数据质量导致的。
• 回顾了一系列缓解策略，包括 Chain-of-Thought 提示、自洽性、不确定性量化、RAG 与 PEFT 方法，尽管没有哪一种能保证消除幻觉。
• 讨论了替代架构和模型（如 Mamba、Jamba、KANs）作为提高效率和上下文处理的潜在途径，但不能消除根本问题。
• 提出生成后检查和可信解释，帮助用户识别幻觉，即使它们不能完全被防止。