[论文解读] Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability

Atticus Geiger, Chris N. Potts+9 more|arXiv (Cornell University)|Jan 11, 2023

Explainable Artificial Intelligence (XAI)被引用 10

一句话总结

本文建立了一套数学框架——因果抽象，用以通过将高层因果模型与低层神经模型联系起来，提供对人工智能的忠实、可人为理解的解释；引入互换干预和近似抽象，并展示若干XAI方法是该理论的实例。

ABSTRACT

Causal abstraction provides a theoretical foundation for mechanistic interpretability, the field concerned with providing intelligible algorithms that are faithful simplifications of the known, but opaque low-level details of black box AI models. Our contributions are (1) generalizing the theory of causal abstraction from mechanism replacement (i.e., hard and soft interventions) to arbitrary mechanism transformation (i.e., functionals from old mechanisms to new mechanisms), (2) providing a flexible, yet precise formalization for the core concepts of polysemantic neurons, the linear representation hypothesis, modular features, and graded faithfulness, and (3) unifying a variety of mechanistic interpretability methods in the common language of causal abstraction, namely, activation and path patching, causal mediation analysis, causal scrubbing, causal tracing, circuit analysis, concept erasure, sparse autoencoders, differential binary masking, distributed alignment search, and steering.

研究动机与目标

• 动机：需要对AI行为与内部推理提供忠实、可被人类理解的因果解释。
• 将因果抽象推广到循环模型和带类型的高层变量，以拓宽适用性。
• 为多变量高层解释开发互换干预，并将近似因果抽象定义为一个分级的忠实性度量。
• 通过边缘化、变量合并和数值合并操作，提供对抽象的构造性表征。
• 证明现有的XAI方法（LIME、因果效应估计、中介分析、迭代零空间投影、基于电路的解释）适用于因果抽象，并展示如何利用Integrated Gradients计算互换干预。

提出的方法

• 将因果抽象框架扩展到循环因果结构和带类型的高层变量。
• 开发互换干预，将高层变量固定为在不同输入下本应具有的数值，以实现忠实性评估。
• 定义近似因果抽象，以量化高层与低层模型之间的分级忠实性。
• 证明构造性抽象当且仅当高层变量可以通过对低层模型进行边缘化、变量合并和数值合并来形成。
• 将若干XAI方法形式化为因果抽象的特殊情况，并展示如何使用Integrated Gradients计算互换干预。

实验结果

研究问题

• RQ1 在干预下，何时高层因果模型是低层AI模型的忠实抽象？
• RQ2 如何将互换干预推广到多个高层变量和循环结构？
• RQ3 构造性抽象与边缘化、变量合并和数值合并等基本操作之间的关系是什么？
• RQ4 现有的XAI方法如何映射到因果抽象分析中，是否可以在该框架下统一？

主要发现

• 因果抽象推广到循环模型和带类型的高层变量，拓宽了其在AI系统中的适用性。
• 发展了多变量高层解释的互换干预的一般理论，使忠实分析成为可能。
• 若能通过边缘化、变量合并和数值合并从低层模型构造出高层模型，则构造性抽象恰好成立。
• 定义近似因果抽象，提供一个分级的、定量的高层解释忠实性度量。
• 证明LIME、因果效应估计、因果中介分析、迭代零空间投影、基于电路的解释是因果抽象的特殊情况，并且可以使用Integrated Gradients来计算互换干预。