[论文解读] Does Circuit Analysis Interpretability Scale? Evidence from Multiple Choice Capabilities in Chinchilla

Tom Lieberum, Matthew Rahtz+5 more|arXiv (Cornell University)|Jul 18, 2023

Topic Modeling被引用 6

一句话总结

本文研究了电路分析技术在700亿参数的Chinchilla语言模型上的可扩展性，重点关注MMLU基准中的多选题问答任务。通过逻辑归因、注意力可视化和激活修补技术，作者识别出关注正确答案标签（A、B、C或D）的“正确字母”注意力头，将其压缩至低秩子空间而未造成性能损失，并发现查询和键子空间编码了一般性的“枚举中的第N项”特征，尽管该解释在更广泛分布上仅部分成立。

ABSTRACT

\emph{Circuit analysis} is a promising technique for understanding the internal mechanisms of language models. However, existing analyses are done in small models far from the state of the art. To address this, we present a case study of circuit analysis in the 70B Chinchilla model, aiming to test the scalability of circuit analysis. In particular, we study multiple-choice question answering, and investigate Chinchilla's capability to identify the correct answer \emph{label} given knowledge of the correct answer \emph{text}. We find that the existing techniques of logit attribution, attention pattern visualization, and activation patching naturally scale to Chinchilla, allowing us to identify and categorize a small set of `output nodes' (attention heads and MLPs). We further study the `correct letter' category of attention heads aiming to understand the semantics of their features, with mixed results. For normal multiple-choice question answers, we significantly compress the query, key and value subspaces of the head without loss of performance when operating on the answer labels for multiple-choice questions, and we show that the query and key subspaces represent an `Nth item in an enumeration' feature to at least some extent. However, when we attempt to use this explanation to understand the heads' behaviour on a more general distribution including randomized answer labels, we find that it is only a partial explanation, suggesting there is more to learn about the operation of `correct letter' heads on multiple choice question answering.

研究动机与目标

• 测试既有的电路分析技术——逻辑归因、注意力可视化和激活修补——是否能有效扩展至类似Chinchilla（700亿参数）的大规模语言模型。
• 识别并分类在多选题中负责选择正确答案标签的具体注意力头和MLP。
• 研究“正确字母”头的功能语义是否能泛化到MMLU分布之外，特别是当答案标签被随机化时。
• 使用降维（SVD）提取注意力头查询、键和值投影中的可解释子空间，并验证其语义一致性。
• 通过在扰动输入上测试，评估电路解释的鲁棒性和完整性，识别当前可解释性方法在大规模模型中的局限性。

提出的方法

• 应用逻辑归因和注意力模式可视化，定位Chinchilla模型中对MMLU中正确答案标签选择有贡献的注意力头。
• 使用激活修补技术，验证所识别头对最终输出logits的因果贡献。
• 采用奇异值分解（SVD），识别“正确字母”头在查询、键和值投影中捕捉MMLU输入变化的三维子空间。
• 在保持MMLU基准性能不变的前提下，将这些头的查询、键和值子空间压缩为低秩表示。
• 通过在变异提示（包括随机化答案标签）上探测其行为，评估所识别子空间的语义可解释性。
• 对比低秩压缩头与原始头的性能，以验证在原始MMLU分布上无准确率损失。

Figure 1 : Overview of the most interesting attention heads we identified – the ‘correct letter’ heads. At the final token position, the head strongly attends to the letter A, B, C or D corresponding to the correct answer, and copies this letter to the output logits. To do this, each head computes a

实验结果

研究问题

• RQ1 标准电路分析技术（如逻辑归因和激活修补）是否能成功应用于像Chinchilla这样的700亿参数语言模型？
• RQ2 Chinchilla中的“正确字母”注意力头在不同输入分布（包括随机化答案标签）下是否表现出一致且可解释的行为？
• RQ3 “正确字母”头的查询、键和值子空间中编码了哪些特征？它们是否反映了如“枚举中的第N项”这类可泛化的模式？
• RQ4 所识别的低秩子空间表示在MMLU测试集之外的更广泛分布上，能在多大程度上解释头的行为？
• RQ5 当应用于大规模模型时，当前可解释性工具的鲁棒性和完整性如何？在真实的大参数场景下会暴露出哪些局限性？

主要发现

• 逻辑归因、注意力可视化和激活修补等技术成功扩展至700亿参数的Chinchilla模型，使研究者能够识别出参与多选题答案选择的“正确字母”注意力头和MLP。
• “正确字母”头可在查询、键和值投影中被压缩为低秩子空间，且在MMLU基准上性能无损失，表明其结构具有简洁性。
• 这些头的查询和键子空间编码了一般性的“枚举中的第N项”特征，表明它们能检测正确答案在选项列表中的位置。
• 值子空间主要编码答案标记的身份（例如，'A'、'B'、'C'、'D'），使头能够提升相应logits。
• 所识别的“第N项”特征仅能部分解释头在随机化或分布外输入上的行为，表明该机制无法被此解释完全捕捉。
• 结果凸显了当前可解释性方法在大规模模型中的局限性，表明即使在标准基准上表现良好，解释仍可能具有噪声、不完整或依赖上下文。

Figure 2 : Circuit diagram of decoder-only transformer