[論文レビュー] Hallucination is Inevitable: An Innate Limitation of Large Language Models

Ziwei Xu, Sanjay Jain+1 more|arXiv (Cornell University)|Jan 22, 2024

Ferroelectric and Negative Capacitance Devices被引用数 151

ひとこと要約

この論文は計算可能な世界での幻覚を正式化し、幻覚は任意の計算可能なLLMにとって避けられないことを証明する。理論的対角化論と実世界タスクでの実証的検証を通じて、緩和手段と展開の影響について議論。

ABSTRACT

Hallucination has been widely recognized to be a significant drawback for large language models (LLMs). There have been many works that attempt to reduce the extent of hallucination. These efforts have mostly been empirical so far, which cannot answer the fundamental question whether it can be completely eliminated. In this paper, we formalize the problem and show that it is impossible to eliminate hallucination in LLMs. Specifically, we define a formal world where hallucination is defined as inconsistencies between a computable LLM and a computable ground truth function. By employing results from learning theory, we show that LLMs cannot learn all the computable functions and will therefore inevitably hallucinate if used as general problem solvers. Since the formal world is a part of the real world which is much more complicated, hallucinations are also inevitable for real world LLMs. Furthermore, for real world LLMs constrained by provable time complexity, we describe the hallucination-prone tasks and empirically validate our claims. Finally, using the formal world framework, we discuss the possible mechanisms and efficacies of existing hallucination mitigators as well as the practical implications on the safe deployment of LLMs.

研究の動機と目的

• LLMs の計算可能な関数の正式な世界で幻覚を定義する。
• 広範な条件の下で、任意の計算可能なLLM に対して幻覚が避けられないことを証明する。
• 形式的な結果を現実のLLM の制約と実用的な緩和手段・展開の影響につなげる。

提案手法

• アルファベット、文字列、そしてプロンプトを完了させる全計算可能関数としてのLLMを定義する。
• 正式なグラウンド truth 関数 f と、f を学習するための学習サンプル集合 T を導入する。
• 対角化を適用して、P-証明済みの全計算可能なLLMの列挙はすべての計算可能な f を学習できないことを示し、幻覚につながる。
• 計算可算集合およびすべての計算可能なLLM に一般化し、無限に多くの入力で幻覚が生じることを示す。
• 幻覚緩和手段の設計と安全な展開への含意を論じる。

実験結果

リサーチクエスチョン

• RQ1 計算可能なLLM は、正式な世界内のすべての入力に対してグラウンド truth 関数 f を完全に再現するよう学習できるか？
• RQ2 広範なクラスや学習条件にわたって、すべての計算可能なLLM にとって幻覚は避けられないのか？
• RQ3 現実世界の展開と緩和手段設計における不可避な幻覚の実用的影響は何か？

主な発見

• 幻覚は、証明可能に全計算可能なLLMの集合に対して不可避であることが示される。
• LLMsは、計算可算集合のLLMに対して無限に多くの入力で幻覚を起こす。
• 任意の計算可能なLLM に対して、無限に多くの入力で幻覚するような計算可能なグラウンドトゥルース関数 f が存在する。
• 系後件は、多項式時間制約と古典的な問題（例：NP完全問題）を実用的な不可避的幻覚と結びつける。
• 実証的検証は、選択された現実世界の問題で幻覚が生じやすい挙動を示し、形式的結果を裏付ける。
• 本研究は、評価、緩和戦略、およびLLMの展開安全性に結果が及ぼす影響を論じる。