[论文解读] Interpreting Transformers Through Attention Head Intervention

Mason Kadem, Rong Zheng|arXiv (Cornell University)|Jan 7, 2026

Embodied and Extended Cognition被引用 0

一句话总结

本论文将注意力头干预作为理解 transformer 的因果方法进行追踪，回顾从可视化到消融的转变，并讨论头部层面干预如何控制模型行为，同时指出分布偏移与多义性等局限。

ABSTRACT

Neural networks are growing more capable on their own, but we do not understand their neural mechanisms. Understanding these mechanisms' decision-making processes, or mechanistic interpretability, enables (1) accountability and control in high-stakes domains, (2) the study of digital brains and the emergence of cognition, and (3) discovery of new knowledge when AI systems outperform humans. This paper traces how attention head intervention emerged as a key method for causal interpretability of transformers. The evolution from visualization to intervention represents a paradigm shift from observing correlations to causally validating mechanistic hypotheses through direct intervention. Head intervention studies revealed robust empirical findings while also highlighting limitations that complicate interpretation. Recent work demonstrates that mechanistic understanding now enables targeted control of model behaviour, successfully suppressing toxic outputs and manipulating semantic content through selective attention head intervention, validating the practical utility of interpretability research for AI safety.

研究动机与目标

• 将机制可解释性明确为与固有与事后可解释性不同的概念。
• 追踪从注意力可视化到 transformer 的因果头部干预的转变。
• 总结关于头部专业化、冗余与相互作用的关键实证发现。
• 讨论头部干预在模型控制与安全方面的实际应用。

提出的方法

• 将注意力头消融描述为测试头部必要性的因果干预。
• 综述并综合关于忠实性、可信度与可检验标准（全面性、充分性、不变性）的基础性工作。
• 将消融与可视化及其他归因方法进行比较，以确立解释的忠实性。
• 讨论消融的变体（零、均值）与基于学习的剪枝，以识别关键头部。
• 突出展示通过受控操控模型行为的实际应用（如降低有害性）。

实验结果

研究问题

• RQ1 单个注意力头在 transformer 决策中扮演的因果角色是什么？
• RQ2 头部的专业化与冗余如何在鲁棒性与可解释性之间取得平衡？
• RQ3 头部层面的干预是否能提供忠实的解释并实现对模型行为的实际控制？
• RQ4 作为可解释性方法，消融的主要局限性（分布偏移、 polysemanticity）是什么？

主要发现

• 注意力头在语言和语义任务上具有功能专业化，某些头部处理特定模式。
• 存在显著的冗余：许多头部的消融对任务影响很小，表明鲁棒性。
• 头部消融提供了因果证据（忠实性），超越可视化或滚动方法的相关性。
• 可识别并操控的专业化头部可以沿语义维度改变输出，从而实现定向控制（如降低有害性）。
• 出现了分层组织和头部之间的负向相互作用，凸显超越简单一对一映射的复杂头部互动。
• 比较表明基于消融的解释比基于相关性的方法更具忠实性，尽管仍存在分布偏移和多义性等挑战。