[論文レビュー] INSIDE: LLMs' Internal States Retain the Power of Hallucination Detection

Chao Chen, Kai Liu+6 more|arXiv (Cornell University)|Feb 6, 2024

Academic Publishing and Open AccessDecision Sciences被引用数 3

ひとこと要約

本稿では、埋め込み共分散固有値に基づくEigenScoreを用いて意味的整合性を測定し、推論時特徴クリッピングを適用して過信度の高い生成を低減することで、大規模言語モデルの内部状態を活用して幻覚を検出するフレームワークINSIDEを提案する。本手法は、後処理の言語レベルの一貫性チェックに依存せずに、密度的な意味表現を直接分析することにより、複数のQAベンチマークで最先端の性能を達成する。

ABSTRACT

Knowledge hallucination have raised widespread concerns for the security and reliability of deployed LLMs. Previous efforts in detecting hallucinations have been employed at logit-level uncertainty estimation or language-level self-consistency evaluation, where the semantic information is inevitably lost during the token-decoding procedure. Thus, we propose to explore the dense semantic information retained within LLMs' extbf{IN}ternal extbf{S}tates for halluc extbf{I}nation extbf{DE}tection ( extbf{INSIDE}). In particular, a simple yet effective extbf{EigenScore} metric is proposed to better evaluate responses' self-consistency, which exploits the eigenvalues of responses' covariance matrix to measure the semantic consistency/diversity in the dense embedding space. Furthermore, from the perspective of self-consistent hallucination detection, a test time feature clipping approach is explored to truncate extreme activations in the internal states, which reduces overconfident generations and potentially benefits the detection of overconfident hallucinations. Extensive experiments and ablation studies are performed on several popular LLMs and question-answering (QA) benchmarks, showing the effectiveness of our proposal.

研究の動機と目的

• デコード中に意味情報を損なうロジットレベルおよび言語レベルの幻覚検出手法の限界を是正すること。
• LLMの内部状態に保持された密度的意味情報が、より正確な幻覚検出を可能にするかを検討すること。
• 埋め込み空間の性質を分析することで、一貫性のない幻覚と過信度の高い幻覚の両方を検出する手法を開発すること。
• 外部モデルを必要とせず、事実誤認の生成を特定することで、LLMの実世界応用における信頼性を向上させること。

提案手法

• デコード済みテキストやロジットに依存せず、LLMの内部状態を用いる一般化されたフレームワーク、INSIDEを提案する。
• 複数の応答埋め込みの共分散行列の固有値を計算するEigenScoreという指標を導入し、密度的埋め込み空間における意味的整合性／多様性を測定する。
• EigenScoreが埋め込み空間における微分エントロピーと相関することを示し、不確実性の代理としての役割を果たす。
• 推論時に内部状態の極端な活性化を切り詰めるための特徴クリッピング技術を適用し、過信度の高い生成を低減する。
• 1つのプロンプトに対して複数回の自己回帰的デコードを実行し、EigenScoreを計算して一貫性を検出する。
• CoQAやLLaMA-7Bなどの標準QAベンチマークを用いて評価し、さまざまなしきい値下でのAUROCと正答率を測定する。

Figure 1: Illustration of our proposed hallucination detection pipeline. During inference time, for a given question, the extreme features in the penultimate layer are truncated and the EigenScore is computed based on the sentence embeddings across multiple responses.

実験結果

リサーチクエスチョン

• RQ1 LLMの内部状態は、後処理の言語レベル手法よりも、幻覚をより効果的に検出できる十分な意味情報を保持できるか？
• RQ2 埋め込み共分散の固有値から導出されるEigenScore指標は、意味的整合性をどのように反映し、幻覚を検出するか？
• RQ3 推論時に特徴クリッピングを適用することで、一貫性ベースの手法が見逃す過信度の高い幻覚を低減できるか？
• RQ4 本手法は、さまざまなLLMや温度やtop-kなどのハイパーパrameterに対してどれほど頑健か？

主な発見

• EigenScoreは、CoQAおよびLLaMA-7Bにおいて、パープレキシティ、LNエントロピー、語彙的類似度といったベースライン手法をすべて上回り、類似度しきい値0.9でのAUROCが80.4を達成した。
• 本手法は多様なモデルとベンチマークで優れた性能を示し、特定のアーキテクチャに限定されない広範な適用可能性を示している。
• 特徴クリッピングは、特に高温設定下で極端な活性化を低減することで、過信度の高い幻覚の検出を顕著に向上させた。
• 感度分析により、性能は温度に強く依存するが、top-kにはそれほど依存せず、最適なパフォーマンスは0.1～1.0の範囲で得られた。
• EigenScore指標は埋め込み空間における微分エントロピーを効果的に捉えており、一貫性測定としての理論的根拠が裏付けられた。
• 追加のモデルやファインチューニングを必要とせず、最先端の幻覚検出性能を達成した。

(a) Neuron Activation