[論文レビュー] LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

Hadas Orgad, Michael Toker+5 more|arXiv (Cornell University)|Oct 3, 2024

Blockchain Technology Applications and Security被引用数 4

ひとこと要約

この論文は、大規模言語モデル（LLMs）が、以前に認識されていたよりも顕著に内部表現に内在的な真実性に関する情報を保持していることを明らかにした。特に、正確な答えに対応するトークンに集中している。これらの表現に対してプローブ分類器を訓練することで、優れた誤り検出が可能となり、真実性の信号が普遍的ではなくタスク固有であることが判明した。これにより、誤りの種類の予測が可能になり、内部知識と外部生成行動の間の重要な乖離が露呈された。

ABSTRACT

Large language models (LLMs) often produce errors, including factual inaccuracies, biases, and reasoning failures, collectively referred to as "hallucinations". Recent studies have demonstrated that LLMs' internal states encode information regarding the truthfulness of their outputs, and that this information can be utilized to detect errors. In this work, we show that the internal representations of LLMs encode much more information about truthfulness than previously recognized. We first discover that the truthfulness information is concentrated in specific tokens, and leveraging this property significantly enhances error detection performance. Yet, we show that such error detectors fail to generalize across datasets, implying that -- contrary to prior claims -- truthfulness encoding is not universal but rather multifaceted. Next, we show that internal representations can also be used for predicting the types of errors the model is likely to make, facilitating the development of tailored mitigation strategies. Lastly, we reveal a discrepancy between LLMs' internal encoding and external behavior: they may encode the correct answer, yet consistently generate an incorrect one. Taken together, these insights deepen our understanding of LLM errors from the model's internal perspective, which can guide future research on enhancing error analysis and mitigation.

研究の動機と目的

• 表面的な誤り検出を超えて、LLMsにおける幻覚の内在的表現を調査すること。
• モデルの内部状態のどこに真実性に関する情報が最も集中しているかを特定すること。
• 真実性の信号が異なるタスクやデータセットに一般化するかどうかを評価すること。
• 内部表現が誤りの種類まで予測できるかどうかを調査すること。
• 内部知識と実際のモデル行動との整合性、特に正しい答えがエンコードされているが生成されない場合の乖離を検討すること。

提案手法

• 生成出力における正確な答えに対応するトークンに焦点を当て、LLMsの中間層表現に対してプローブ分類器を訓練すること。
• 複数のデータセット（TriviaQA、Math、Winobias）を用いて、多様なタスクにおける誤り検出性能を評価すること。
• 一般化性と頑健性を評価するために、ロジットベースの不確実性予測子とプローブ分類器の性能を比較すること。
• 繰り返し生成を分析して誤りパターン（例：一貫した誤り、偶発的な誤り、競合する答え）を分類し、内部表現に基づいてこれらのタイプを予測する分類器を訓練すること。
• 複数のサンプルにおける応答の一貫性に基づく誤りタイプの分類法を用い、内部表現と行動パターンを結びつけること。
• 正しい答えの内部エンコードと実際のモデル出力との乖離を測定することで、内部と外部の不整合を明らかにすること。

Figure 1: Example for the input and LLM output from the TriviaQA dataset, and the names of the tokens that can be probed.

実験結果

リサーチクエスチョン

• RQ1 LLMの内部表現のどの部分に真実性情報が最も集中しているか？
• RQ2 内部表現に基づくプローブ分類器は、既存の手法よりも幻覚をより効果的に検出できるか？
• RQ3 LLMsにおける真実性信号は、異なるタスクに一般化されるのか、それともタスク固有なのか？
• RQ4 内部表現は、モデルが生成しうる誤りの種類を予測できるか？
• RQ5 モデルの内部知識としての正しい答えの認識と、実際の出力との間に、どの程度の乖離が存在するか？

主な発見

• 真実性情報は正確な答えトークンに最も強くエンコードされており、これらのトークンに焦点を当てることで誤り検出性能が顕著に向上する。
• 答えトークンに基づくプローブ分類器は、SOTAの検出性能を達成し、TriviaQAではF1スコア最大0.79、Winobiasでは0.83を記録した。
• 誤り検出モデルはタスク間で一般化に失敗しており、真実性のエンコードが普遍的ではなく、スキル固有であることが示された。
• 内部表現は誤りの種類（例：一貫した誤り、競合する答え）を予測可能であり、ターゲットを絞った是正戦略の実現が可能になった。
• 正しい答えの内部エンコードと実際のモデル出力との間に顕著な乖離が存在し、モデルが真実を知っているにもかかわらず幻覚を生成するケースが確認された。

(a) TriviaQA