[論文レビュー] Overthinking the Truth: Understanding how Language Models Process False Demonstrations

Danny Halawi, Jean-Stanislas Denain+1 more|arXiv (Cornell University)|Jul 18, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、言語モデルが少样本学習において誤った模範例を誤って模倣する仕組みを調査し、2つの主要な現象を同定した。1つ目は「過剰思考（overthinking）」で、誤った例が与えられた場合、特定の層を過ぎると性能が悪化する現象である。2つ目は「偽誘導ヘッド（false induction heads）」であり、後段の層に位置し、誤ったパターンを複製する特定のアテンションヘッドである。これらのヘッドを除去することで、14のデータセット全体で平均38.9%の有害な模倣が減少したが、正しい模範例の性能に悪影響は与えなかった。

ABSTRACT

Modern language models can imitate complex patterns through few-shot learning, enabling them to complete challenging tasks without fine-tuning. However, imitation can also lead models to reproduce inaccuracies or harmful content if present in the context. We study harmful imitation through the lens of a model's internal representations, and identify two related phenomena: "overthinking" and "false induction heads". The first phenomenon, overthinking, appears when we decode predictions from intermediate layers, given correct vs. incorrect few-shot demonstrations. At early layers, both demonstrations induce similar model behavior, but the behavior diverges sharply at some "critical layer", after which the accuracy given incorrect demonstrations progressively decreases. The second phenomenon, false induction heads, are a possible mechanistic cause of overthinking: these are heads in late layers that attend to and copy false information from previous demonstrations, and whose ablation reduces overthinking. Beyond scientific understanding, our results suggest that studying intermediate model computations could be a promising avenue for understanding and guarding against harmful model behaviors.

研究の動機と目的

• 言語モデルが誤った少样本学習の模範例から不正確な内容を再現する仕組みを理解すること。
• LLMにおける有害なコンテキスト従属行動を引き起こす内部メカニズムを調査すること。
• モデル推論中に誤った模倣が発生するタイミングと場所を特定すること。
• 誤ったパターンを伝搬する原因となっている特定のアテンションヘッドを同定すること。
• これらのヘッドを除去することで、正しいタスクの性能に悪影響を与えずに有害な模倣を低減できるかどうかを評価すること。

提案手法

• 複数のNLPタスクにおいて、正しい vs. 間違いのある少样本学習の模範例を用いた、モデル行動の対照的分析。
• 中間の残差ストリーム層からのデコードを用いて、推論中に予測精度がどのように変化するかを追跡。
• 正しいと間違った模範例の間で性能が急激に分岐する「臨界層（critical layer）」を同定。
• 活性化パッチングとアテンションヘッドの除去を用いて、特定のヘッドがモデル行動に与える影響を隔離・テスト。
• 各層におけるキャリブレート済み精度を測定し、過剰思考と干渉処置の効果を定量化。
• SST-2、Financial-Phrasebank、TweetEvalを含む14の多様なデータセットで、結果の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 正しい vs. 間違いのある模範例が与えられた際、推論のどの段階でモデルの性能が分岐し始めるか？
• RQ2 模範例からの誤ったパターンを伝搬するための、モデル内部のどのコンponentが関与しているか？
• RQ3 初期層の干渉やアテンションヘッドの除去によって、有害な模倣を減らせるか。ただし、正しい例の性能に影響を与えないか？
• RQ4 推論中に各層を通過する際、モデルの「正しさ」の内部表現はどのように変化するか？
• RQ5 「偽誘導ヘッド」を同定・除去することで、過剰思考をどれだけ軽減でき、モデルの頑健性を向上できるか？

主な発見

• モデルは「過剰思考（overthinking）」を示す。誤った模範例では、特定の層を過ぎると性能が低下する一方、正しい模範例では性能が向上するため、誤りの是正が遅れて発生する。
• 性能の分岐が生じる臨界層は、すでに初期表現が形成された後であるため、初期処理段階は模範例の質に対して頑健であることが示唆される。
• 偽誘導ヘッド（false induction heads）—模範例から誤った情報を注目し、複製する後段の層に位置するアテンションヘッド—が、過剰思考の主な機構的要因である。
• わずか5つのこのようなヘッド（全ヘッドの1%）を除去するだけで、14のデータセット全体で平均38.9%の正解率の差が縮小された。
• 同様の干渉処置は、正しい模範例が与えられた場合に顕著な悪影響を及ぼさず、有害行動にのみ特異的に効果的であることが示された。
• これらの発見は、中間層の計算が解釈可能性および安全性の干渉処置の有効なターゲットである可能性を示しており、今後の研究ではこれらの知見を用いてプロンプトインジェクション攻撃の検出に応用している。