[论文解读] Hallucination is Inevitable: An Innate Limitation of Large Language Models

Ziwei Xu, Sanjay Jain+1 more|arXiv (Cornell University)|Jan 22, 2024

Ferroelectric and Negative Capacitance Devices被引用 151

一句话总结

该论文在可计算世界中形式化幻觉，并证明对于任何可计算的LLM，幻觉是不可避免的，理论对角化论证与对真实世界任务的实证验证相结合，并讨论减缓措施和部署影响。

ABSTRACT

Hallucination has been widely recognized to be a significant drawback for large language models (LLMs). There have been many works that attempt to reduce the extent of hallucination. These efforts have mostly been empirical so far, which cannot answer the fundamental question whether it can be completely eliminated. In this paper, we formalize the problem and show that it is impossible to eliminate hallucination in LLMs. Specifically, we define a formal world where hallucination is defined as inconsistencies between a computable LLM and a computable ground truth function. By employing results from learning theory, we show that LLMs cannot learn all the computable functions and will therefore inevitably hallucinate if used as general problem solvers. Since the formal world is a part of the real world which is much more complicated, hallucinations are also inevitable for real world LLMs. Furthermore, for real world LLMs constrained by provable time complexity, we describe the hallucination-prone tasks and empirically validate our claims. Finally, using the formal world framework, we discuss the possible mechanisms and efficacies of existing hallucination mitigators as well as the practical implications on the safe deployment of LLMs.

研究动机与目标

• 为LLMs在可计算函数的正式世界中定义幻觉。
• 在广泛条件下证明幻觉对任何可计算的LLM都是不可避免的。
• 将形式化结果与现实世界的LLM局限性及实际缓解/部署含义联系起来。

提出的方法

• 定义字母表、字符串以及将提示作为完全可计算函数的LLM。
• 引入一个形式化的 ground truth 函数 f 及用于学习 f 的训练样本集合 T。
• 应用对角化，证明没有对可证明为总可计算的LLM的枚举能够学习所有可计算的 f，从而产生幻觉。
• 推广到可计算可枚举集合以及所有可计算的LLM，证明在无穷多个输入上存在幻觉。
• 讨论幻觉缓解器设计和安全部署的含义。

实验结果

研究问题

• RQ1 一个可计算的LLM 能否在形式化世界内对所有输入完美重现 ground truth 函数 f？
• RQ2 在广泛的类和训练条件下，幻觉对所有可计算的LLM 是否不可避免？
• RQ3 对现实部署和缓解器设计来说，幻觉的不可避免性有何实际意义？

主要发现

• 对被证明为总可计算的LLM集合，幻觉被证明是不可避免的。
• 对于可计算可枚举集合的LLM，LLMs将在无穷多个输入上产生幻觉。
• 对任意可计算的LLM，存在一个可计算的 ground truth 函数 f，使得该 LLM 在无穷多个输入上产生幻觉。
• 推论将多项式时间约束和经典问题（如 NP-完全问题）与实际中的不可避免幻觉联系起来。
• 实证验证在选定的现实世界问题上显示出易于幻觉的行为，支持形式结果。
• 该工作讨论结果如何影响对LLM的评估、缓解策略和部署安全性。