[論文レビュー] Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability

Atticus Geiger, Chris N. Potts+9 more|arXiv (Cornell University)|Jan 11, 2023

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

本論文は、高レベルの因果モデルと低レベルの神経モデルを結びつけることによって、AIの忠実で人間に解釈可能な説明を提供するための数学的枠組みである因果抽象化を提案し、interchange interventionsと近似抽象化を導入し、いくつかのXAI手法が本理論の実例であることを示す。

ABSTRACT

Causal abstraction provides a theoretical foundation for mechanistic interpretability, the field concerned with providing intelligible algorithms that are faithful simplifications of the known, but opaque low-level details of black box AI models. Our contributions are (1) generalizing the theory of causal abstraction from mechanism replacement (i.e., hard and soft interventions) to arbitrary mechanism transformation (i.e., functionals from old mechanisms to new mechanisms), (2) providing a flexible, yet precise formalization for the core concepts of polysemantic neurons, the linear representation hypothesis, modular features, and graded faithfulness, and (3) unifying a variety of mechanistic interpretability methods in the common language of causal abstraction, namely, activation and path patching, causal mediation analysis, causal scrubbing, causal tracing, circuit analysis, concept erasure, sparse autoencoders, differential binary masking, distributed alignment search, and steering.

研究の動機と目的

• AIの挙動と内部推論の忠実で人間が理解できる因果的説明の必要性を動機づける。
• 因果抽象化を循環モデルと型付きの高レベル変数へ一般化し、適用範囲を広げる。
• 多変数の高レベル説明のためのinterchange interventionsを開発し、近似因果抽象化を階層的な忠実度指標として定義する。
• 周辺化（マージナル化）、変数マージ、値マージ演算による抽象化の構成的特徴づけを提供する。
• 既存のXAI手法（LIME、因果効果推定、媒介分析、反復的零空間射影、回路ベースの説明）が因果抽象化に適合することを示し、Integrated Gradientsがよりinterchange interventionsを計算できることを示す。

提案手法

• 循環的因果構造と型付き高レベル変数に対して因果抽象化フレームワークを拡張する。
• 異なる入力の下で高レベル変数が取り得る値に固定するinterchange interventionsを開発し、忠実度の評価を可能にする。
• 高レベルモデルと低レベルモデル間の階層的忠実度を定量化するために近似因果抽象化を定義する。
• 高レベル変数が低レベルモデルから周辺化、変数マージ、値マージによって形成されうる場合に限り、構成的抽象化が成り立つことを証明する。
• いくつかのXAI手法を因果抽象化の特例として形式化し、Integrated Gradientsを用いてinterchange interventionsを計算できることを示す。

実験結果

リサーチクエスチョン

• RQ1 介入下で高レベルの因果モデルが低レベルのAIモデルの忠実な抽象化であるのはいつか？
• RQ2 interchange interventionsを複数の高レベル変数および循環構造へどのように一般化できるか？
• RQ3 構成的抽象化と周辺化、変数マージ、値マージといった基本的な演算との関係は何か？
• RQ4 既存のXAI手法は因果抽象化分析にどう対応し、このフレームワークの下で統一できるか？

主な発見

• 因果抽象化は循環モデルと型付き高レベル変数へ一般化され、AIシステムへの適用範囲が広がる。
• 多変数高レベル説明のためのinterchange interventionsの一般理論を開発し、忠実な分析を可能にする。
• 構成的抽象化は、高レベルモデルが周辺化、変数マージ、および値マージを介して低レベルモデルから構築できる場合に厳密に成り立つことを示す。
• 近似因果抽象化が定義され、階層的な定量的忠実度指標を高レベルの説明に提供する。
• LIME、因果効果推定、因果媒介分析、反復的零空間射影、回路ベースの説明が因果抽象化の特例であること、そしてIntegrated Gradientsを用いてinterchange interventionsを計算できることを示す。