[논문 리뷰] Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability

Atticus Geiger, Chris N. Potts외 9명|arXiv (Cornell University)|2023. 01. 11.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

본 논문은 고수준 인과 모델과 저수준 신경 모델을 연결하여 AI의 신뢰할 수 있고 인간이 해석 가능한 설명을 위한 수학적 프레임워크인 인과 추상화를 제시하고, interchange interventions와 근사 추상을 도입하며, 여러 XAI 방법들이 이 이론의 사례에 해당함을 보인다.

ABSTRACT

Causal abstraction provides a theoretical foundation for mechanistic interpretability, the field concerned with providing intelligible algorithms that are faithful simplifications of the known, but opaque low-level details of black box AI models. Our contributions are (1) generalizing the theory of causal abstraction from mechanism replacement (i.e., hard and soft interventions) to arbitrary mechanism transformation (i.e., functionals from old mechanisms to new mechanisms), (2) providing a flexible, yet precise formalization for the core concepts of polysemantic neurons, the linear representation hypothesis, modular features, and graded faithfulness, and (3) unifying a variety of mechanistic interpretability methods in the common language of causal abstraction, namely, activation and path patching, causal mediation analysis, causal scrubbing, causal tracing, circuit analysis, concept erasure, sparse autoencoders, differential binary masking, distributed alignment search, and steering.

연구 동기 및 목표

• AI 행동과 내부 추론에 대한 충실하고 인간이 이해할 수 있는 인과 설명의 필요성을 동기화한다.
• 순환 모형과 형(type)화된 고수준 변수에 대한 인과 추상화를 일반화하여 적용 범위를 넓힌다.
• 다변수 고수준 설명을 위한 interchange interventions를 개발하고 충실성 평가를 가능하게 하는 근사 인과 추상화를 성숙도 있는 등급 척도로 정의한다.
• 변수 주변화, 변수 병합, 값 병합 연산을 통해 추상의 구성적 특성을 제시한다.
• 기존 XAI 방법들(LIME, 인과 효과 추정, 매개 분석, 반복적 영공간 투사, 회로 기반 설명)이 인과 추상화에 적합함을 보여주고, Integrated Gradients가 interchange interventions를 계산하는 방법을 제시한다.

제안 방법

• 순환 인과 구조와 형(type)화된 고수준 변수에 프레임워크를 확장한다.
• 다른 입력에서의 값으로 고수준 변수를 고정하여 그들이 갖게 될 값을 설정하는 interchange interventions를 개발하고 충실성 평가를 가능하게 한다.
• 고수준 모델과 저수준 모델 간의 등급화된 충실성을 정량화하기 위한 근사적 인과 추상화를 정의한다.
• 고수준 변수들이 저수준 모델로부터 주변화, 변수 병합, 값 병합으로 형성될 수 있을 때에만 구성적 추상의 동치가 성립한다는 것을 보인다.
• 여러 XAI 방법들을 인과 추상의 특수한 경우로 형식화하고 Integrated Gradients를 사용하여 interchange interventions를 계산하는 방법을 보인다.

실험 결과

연구 질문

• RQ1 개입(interventions) 하에서 고수준 인과 모델이 저수준 AI 모델의 충실한 추상화가 되는 경우는 언제인가?
• RQ2 교환 개입(interchange interventions)을 다중 고수준 변수와 순환 구조로 일반화하는 방법은?
• RQ3 구성적 추상과 주변화, 변수 병합, 값 병합과 같은 기본 연산 간의 관계는 무엇인가?
• RQ4 기존의 XAI 방법들이 인과 추상 분석에 어떻게 매핑되며 이 프레임워크 아래에서 통합될 수 있는가?

주요 결과

• 인과 추상화가 순환 모델과 형(type)화된 고수준 변수로 일반화되어 AI 시스템에 대한 적용 가능성을 넓힌다.
• 다변수 고수준 설명을 위한 interchange interventions의 일반 이론이 개발되어 충실한 분석이 가능해진다.
• 구성적 추상이 고수준 모델이 주변화, 변수 병합, 값 병합을 통해 저수준 모델로부터 구성될 수 있을 때 정확히 성립하는 것이 보인다.
• 근사적 인과 추상화가 정의되어 고수준 설명에 대한 등급화된 정량적 충실성 척도를 제공한다.
• LIME, 인과 효과 추정, 인과 매개 분석, 반복적 영공간 투사, 회로 기반 설명이 인과 추상화의 특수한 경우임이 보이며, Integrated Gradients를 사용해 interchange interventions를 계산할 수 있다.