[論文レビュー] Multi-Head Attention Is a Multi-Player Game

Kushal Chakrabarti, Nirmal Balachundar|arXiv (Cornell University)|Jan 31, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

Paperは外部性を伴うトランスフォーマーヘッドの相互作用をゲームとしてモデル化し、GAME-LoRAによるヘッド依存性の正則化が知識を保持しつつ幻覚を低減することを、ヘッド相互作用強度 Γ(G) によって制御される社会的余剰の価格（PoA）境界で示す。

ABSTRACT

Modern transformer attention is internally multi-agent -- heads compete and coordinate -- yet we train it as if it were a monolithic optimizer. We formalize this gap: cross-entropy training induces an implicit potential game among heads, and gradient descent converges to Nash equilibria with potentially unbounded inefficiency due to unpriced externalities (redundancy, correlated errors). Our main result bounds the Price of Anarchy by $Γ(G)$, the off-diagonal mass of a head interaction matrix capturing weight and gradient coupling. Under mild smoothness assumptions, we prove that both \emph{excess hallucination probability} and \emph{excess head redundancy} scale with PoA, unifying two distinct failure modes into a single mechanism. The bound is prescriptive: regularization that reduces $Γ(G)$ provably tightens PoA. We instantiate this as GAME-LoRA, combining Barlow Twins decorrelation with log-determinant coordination pressure. Experiments validate the theory: $Γ(G)$ predicts hallucination ($p{<}0.05$), emergent coalitions exhibit selective coordination, and GAME-LoRA achieves up to 18\% hallucination reduction (8\% average) with no knowledge degradation -- a Pareto improvement inaccessible to methods ignoring the game structure.

研究の動機と目的

• なぜマルチヘッド注意が内部的に未評価の外部性（冗長性と相関エラー）を伴うゲームとして振る舞うのかを動機づける。
• ヘッド相互作用構造を形式化し、協調と幻覚・冗長性とのPoA境界を導出する。
• 外部性をLoRAベースのアダプタに内在化する実用的正則化フレームワークであるGAME-LoRAを提案・検証する。
• Γ(G)を低減させることがベンチマーク全体で知識を損なうことなく信頼性を改善することを示す。

提案手法

• ヘッド間の重みと勾配結合を捉えるヘッド相互作用マトリクス G を定義する。
• MultiHeadCE が重み付きポテンシャルゲームであることを示し、外部性を意識した正則化を取り入れる MultiHeadPGAC を導入する。
• PoA の境界を導出: PoA(G) ≤ (1+β_R+β_C) / (1 - (L/α)Γ(G)^2) を穏やかな仮定の下で得る。
• 正則化子としてヘッドデコリレーションの対数行列式（LDB）とBarlow Twins（BT）を用い、GAME-LoRA を形成する。
• LoRA アダプタを QKV および出力全体にわたり導入し、LDB および BT 損失で正則化を行い、Nash-MTL によって調整する。

Figure 1 : Attention heads form strategic coalitions when trained with game-aware regularization. We model multi-head attention as a multi-player game where heads compete for gradient credit while imposing unpriced externalities (redundancy, correlated errors) on each other. Standard cross-entropy t

実験結果

リサーチクエスチョン

• RQ1 注意ヘッド間の未評価外部性は標準訓練における幻覚と冗長性を説明できるか。
• RQ2 ヘッド相互作用マトリクスの非対角成分 mass Γ(G) は均衡の非効率性（PoA）とどのように関係するか。
• RQ3 ヘッド相互作用を対象とした正則化（GAME-LoRA）は幻覚を減らしつつ知識を損なわないか。
• RQ4 ゲーム aware 正則化の下で現れるヘッド連合は性能にどのような影響を与え、定量化できるか。
• RQ5 Γ(G) を減らすと PoA が縮まり、ベンチマーク全体で信頼性が改善されるという実証的証拠があるか。

主な発見

Metric	Baseline	GAME-LoRA	CAD	Disagreement	ActDec	ME
HE-Dial	0.458	0.491	0.479	0.471	0.458	0.455
HE-QA	0.376	0.445	0.417	0.391	0.376	0.395
HE-Summ	0.438	0.500	0.494	0.458	0.463	0.445
MemoTrap	0.642	0.650	0.641	0.641	0.642	0.642
TFQA-MC1	0.252	0.263	0.255	0.247	0.251	0.252
TFQA-MC2	0.401	0.412	0.392	0.399	0.416	0.419
MMLU	0.477	0.469	0.479	0.472	0.476	0.471
NQ	0.066	0.067	0.066	0.063	0.067	0.057
PopQA	0.111	0.112	0.112	0.111	0.112	0.110
WikiText	0.784	0.786	0.779	0.777	0.923	0.825
Winogrande	0.573	0.565	0.569	0.580	0.575	0.573

• 幻覚確率とヘッドの冗長性は Price of Anarchy に比例して上昇する; Γ(G) を減らすと PoA が小さくなる。
• GAME-LoRA はベンチマークで幻覚を最大で8%（平均8%）低減し、知識の低下なしにパレート改善を達成する。
• 正則化は選択的なヘッド協調を誘発し、内部的に連携し外部的には競合する連合を形成する。
• 実証的結果は Γ(G) が幻覚を予測し、デコリレーションベースの正則化が非自明な改善をもたらす（適合で p<0.05）。
• GAME-LoRA は6つのベンチマークで最高クラスの幻覚低減を達成し、ベースラインに対して知識を維持する。

Figure 2 : GAME-LoRA induces selective coordination, not uniform decorrelation. A naive interpretation of regularization losses would predict uniform weakening of all head interactions. Instead, we observe strategic differentiation : heads selectively strengthen coordination within emergent coalitio