[論文レビュー] Attention Satisfies: A Constraint-Satisfaction Lens on Factual Errors of Language Models

Mert Yüksekgönül, Varun Chandrasekaran+6 more|arXiv (Cornell University)|Sep 26, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、事実的誤りを制約充足問題（CSP）としてモデル化することで、大規模言語モデル（LLM）における事実的誤りを制約充足のレンズで分析する手法を提案する。SAT Probeと呼ばれる手法を導入し、注意機構のパターンを用いて推論の初期段階で事実的正確性や誤りを予測する。Llama-2モデル（7B–70B）の11のデータセット（40,000件以上のプロンプト）において、制約トークンへの注目度と正しさの間に強い相関が示された。

ABSTRACT

We investigate the internal behavior of Transformer-based Large Language Models (LLMs) when they generate factually incorrect text. We propose modeling factual queries as constraint satisfaction problems and use this framework to investigate how the LLM interacts internally with factual constraints. We find a strong positive relationship between the LLM's attention to constraint tokens and the factual accuracy of generations. We curate a suite of 10 datasets containing over 40,000 prompts to study the task of predicting factual errors with the Llama-2 family across all scales (7B, 13B, 70B). We propose SAT Probe, a method probing attention patterns, that can predict factual errors and fine-grained constraint satisfaction, and allow early error identification. The approach and findings take another step towards using the mechanistic understanding of LLMs to enhance their reliability.

研究の動機と目的

• 大規模言語モデル（LLM）における事実的誤りの内部メカニズム、特にTransformerアーキテクチャにおけるそれらを理解すること。
• 正確な事実記憶の性能が優れている一方で、事実的推論タスクで失敗するメカニズムの理解に欠けている点を補完すること。
• モデルの内部構造を用いた事前検出手法の開発により、高価な後処理による検証に依存するのを減らすこと。
• 生成過程における注目メカニズムが制約充足と事実的正確性に果たす役割を調査すること。

提案手法

• 各クエリが制約（例：主語-関係-目的語の三項組）を課すように、事実的クエリを制約充足問題（CSP）としてモデル化する。
• 入力における制約トークン（例：'director'、'born in'）を事実の構造的指標とし、層をまたいでその注目パターンを追跡する。
• 制約トークンの注目度に注目した線形プローブを提案し、SAT Probeとして実装。これにより、制約の充足状況と事実的正確性を予測する。
• 単一および複数の制約を含むクエリをカバーする11のデータセットから構成される、40,000件以上のプロンプトを含むベンチマークを用いてSAT Probeを訓練および評価する。
• 推論の前半で得られる初期層の注目統計を用いて、事実的誤りを予測し、コスト削減のための早期停止を可能にする。
• 正解率、F1スコア、AUCスコアを用いて性能を評価し、LLMの信頼度スコアおよびベースライン手法と比較する。

Figure 1: Tracking attention to predict constraint satisfaction and factual errors. We view factual queries as Constraint Satisfaction Problems. That is, factual queries impose a set of constraints that the LLM’s responses must satisfy. To predict constraint satisfaction (i.e., factual correctness),

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルの生成出力における事実的正確性と、制約トークンへの注目度の相関関係は何か？
• RQ2 標準的なLLMの信頼度スコアと比較して、注目パターンの単純なプローブは、事実的誤りをより早期に予測できるか？
• RQ3 最終出力が事実的に誤りであっても、モデルの内部的注目行動は制約充足を反映しているか？
• RQ4 制約の一般的さ（例：一般的なエンティティ vs. 稀なエンティティ）が注目パターンと事実的正確性に与える影響は何か？
• RQ5 SAT Probeを用いて、推論の初期段階で事実的に誤った生成を特定・停止させ、計算コストを削減できるか？

主な発見

• 制約トークンへの注目度と事実的正確性の間に強い正の相関が存在する：制約トークンへの注目が低いほど、事実的誤り率が高くなる。
• SAT Probeは、LLM自身の信頼度スコアと同等の予測性能を達成しており、大多数のデータセットでAUCが0.85以上を記録した。
• Llama-2 70Bモデルでは、'Movies directed by'タスクでAUC 0.86、'Songs performed by'タスクでAUC 0.83を達成し、高い信頼性を示した。
• SAT Probeは、前方伝搬の最初の半分の情報のみを用いても、事実的誤りを高い精度で予測可能であり、早期停止と計算コストの削減が可能である。
• CounterFactデータセットでは、低頻度の制約に対してもSAT Probeは頑健な性能を示し、関係ごとにAUCが0.58～0.71の範囲で推移した。
• 本手法はモデルスケール（7B, 13B, 70B）を問わず一般化可能であり、異なるパラメータ設定でも一貫した性能を示した。