[论文解读] Multi-Head Attention Is a Multi-Player Game

Kushal Chakrabarti, Nirmal Balachundar|arXiv (Cornell University)|Jan 31, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

该论文将 transformer heads 的交互建模为带外部性的问题，并证明通过 GAME-LoRA 对 head 依赖进行正则化可以在不损害知识的前提下减少幻觉，其代价是由 head 交互强度 Γ(G) 控制的社会效率损失上界（Price of Anarchy）。

ABSTRACT

Modern transformer attention is internally multi-agent -- heads compete and coordinate -- yet we train it as if it were a monolithic optimizer. We formalize this gap: cross-entropy training induces an implicit potential game among heads, and gradient descent converges to Nash equilibria with potentially unbounded inefficiency due to unpriced externalities (redundancy, correlated errors). Our main result bounds the Price of Anarchy by $Γ(G)$, the off-diagonal mass of a head interaction matrix capturing weight and gradient coupling. Under mild smoothness assumptions, we prove that both \emph{excess hallucination probability} and \emph{excess head redundancy} scale with PoA, unifying two distinct failure modes into a single mechanism. The bound is prescriptive: regularization that reduces $Γ(G)$ provably tightens PoA. We instantiate this as GAME-LoRA, combining Barlow Twins decorrelation with log-determinant coordination pressure. Experiments validate the theory: $Γ(G)$ predicts hallucination ($p{<}0.05$), emergent coalitions exhibit selective coordination, and GAME-LoRA achieves up to 18\% hallucination reduction (8\% average) with no knowledge degradation -- a Pareto improvement inaccessible to methods ignoring the game structure.

研究动机与目标

• 解释为什么多头注意力在内部表现为具有未定价外部性的博弈（冗余和相关错误）。
• 形式化 head 交互结构并推导 PoA 边界，将协调性与幻觉和冗余联系起来。
• 提出并验证 GAME-LoRA，一种将外部性内部化到基于 LoRA 的适配器中的实用正则化框架。
• 证明降低 Γ(G) 能在不牺牲知识的前提下提升鲁棒性，并在多个基准上得到改善。

提出的方法

• 定义头部交互矩阵 G，捕捉头之间的权重和梯度耦合。
• 表明 MultiHeadCE 是一个加权势函数博弈；引入 MultiHeadPGAC 以结合外部性感知的正则化。
• 推导 PoA 边界：PoA(G) ≤ (1+β_R+β_C) / (1 - (L/α)Γ(G)^2) 在温和假设下。
• 以对头部去相关的对数行列式正则化（LDB）和 Barlow Twins（BT）实现正则化，构成 GAME-LoRA。
• 在 QKV 与输出端的 LoRA 适配器上实现 GAME-LoRA，结合 LDB 和 BT 损失，通过 Nash-MTL 协调。

Figure 1 : Attention heads form strategic coalitions when trained with game-aware regularization. We model multi-head attention as a multi-player game where heads compete for gradient credit while imposing unpriced externalities (redundancy, correlated errors) on each other. Standard cross-entropy t

实验结果

研究问题

• RQ1 未定价的注意力头之间的外部性是否能解释标准训练中的幻觉和冗余？
• RQ2 头部交互矩阵的非对角质量 Γ(G) 与均衡低效（PoA）有何关系？
• RQ3 针对头部交互的正则化（GAME-LoRA）是否能在不牺牲知识的前提下降低幻觉？
• RQ4 在面向博弈的正则化下，是否会形成新兴的头部联盟，并且我们能否量化它们对性能的影响？
• RQ5 是否有经验性证据表明降低 Γ(G) 能收紧 PoA、并在多个基准上提高鲁棒性？

主要发现

Metric	Baseline	GAME-LoRA	CAD	Disagreement	ActDec	ME
HE-Dial	0.458	0.491	0.479	0.471	0.458	0.455
HE-QA	0.376	0.445	0.417	0.391	0.376	0.395
HE-Summ	0.438	0.500	0.494	0.458	0.463	0.445
MemoTrap	0.642	0.650	0.641	0.641	0.642	0.642
TFQA-MC1	0.252	0.263	0.255	0.247	0.251	0.252
TFQA-MC2	0.401	0.412	0.392	0.399	0.416	0.419
MMLU	0.477	0.469	0.479	0.472	0.476	0.471
NQ	0.066	0.067	0.066	0.063	0.067	0.057
PopQA	0.111	0.112	0.112	0.111	0.112	0.110
WikiText	0.784	0.786	0.779	0.777	0.923	0.825
Winogrande	0.573	0.565	0.569	0.580	0.575	0.573

• 幻觉概率和头部冗余与社会效率损失（PoA）成正比关系；降低 Γ(G) 能收紧 PoA。
• GAME-LoRA 可在基准测试中将幻觉降低多达 8%（平均 8%），且不损害知识，达到帕累托改进。
• 正则化诱导选择性头部协调，形成内部协调、对外竞争的联盟。
• 实证结果表明 Γ(G) 与幻觉相关，基于去相关的正则化在拟合中显著优于对照（p<0.05，非空洞性改进）。
• GAME-LoRA 在六个基准上实现了最优级别的幻觉降低，并相对于基线保持知识。

Figure 2 : GAME-LoRA induces selective coordination, not uniform decorrelation. A naive interpretation of regularization losses would predict uniform weakening of all head interactions. Instead, we observe strategic differentiation : heads selectively strengthen coordination within emergent coalitio