[논문 리뷰] Neural Network Attributions: A Causal Perspective

Aditya Chattopadhyay, Piyushi Manupriya외 2명|arXiv (Cornell University)|2019. 02. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 34인용 수 32

한 줄 요약

이 논문은 신경망을 구조적 인과모델로 모델링하고 입력 뉴런이 출력에 미치는 평균 인과효과(Average Causal Effect, ACE)를 계산함으로써 신경망의 인과적 속성 분석 방법을 제시하며, 고차원에서도 확장 가능하고 RNN에도 적용 가능하다.

ABSTRACT

We propose a new attribution method for neural networks developed using first principles of causality (to the best of our knowledge, the first such). The neural network architecture is viewed as a Structural Causal Model, and a methodology to compute the causal effect of each feature on the output is presented. With reasonable assumptions on the causal structure of the input data, we propose algorithms to efficiently compute the causal effects, as well as scale the approach to data with large dimensionality. We also show how this method can be used for recurrent neural networks. We report experimental results on both simulated and real datasets showcasing the promise and usefulness of the proposed algorithm.

연구 동기 및 목표

• 신경망 예측에 대해 해석 가능하고 인과적으로 근거 있는 설명을 제공한다.
• 신경망을 구조적 인과모델(SCM)로 모델링하여 인과 속성(Attributions)을 정의하고 계산한다.
• 고차원 설정에서 간섭적 기대값(interventional expectations)과 ACE를 추정하는 확장 가능한 알고리즘을 개발한다.
• 접근법을 순환 아키텍처로 확장하고 실무적 계산 우려를 다룬다.

제안 방법

• 피드포워드 네트워크를 SCM으로 표현하고 은닉층을 주변화하여 축소된 인과 모델을 얻는다.
• do 연산을 사용하여 입력 뉴런이 출력 뉴런에 미치는 평균 인과효과(ACE)를 정의한다.
• Taylor 전개를 통해 간섭적 평균과 간섭적 공분산에 기반하여 간섭적 기대값 E[y|do(x_i=α)]를 계산한다.
• 간섭적 기대값을 효율적으로 추정하기 위해 베이즈 선형회귀로 학습된 다항식 형태의 인과 회귀기(causal regressors)를 도입한다.
• Phase I(간섭적 기대값 계산)와 Phase II(인과 회귀기 및 기준선 학습) 워크플로를 제공한다.
• 시간이 열리는 SCM과 시간 스텝 간 의존성 처리 등 RNN으로의 확장을 논의한다.

실험 결과

연구 질문

• RQ1 신경망에서 특정 입력 뉴런이 특정 출력 뉴런에 미치는 인과 효과는 무엇인가?
• RQ2 고차원 신경망에서 간섭적 기대값과 ACE를 어떻게 계산·근사할 수 있는가?
• RQ3 이 인과 속성 프레임워크를 순환 아키텍처로 확장할 수 있는가?
• RQ4 인과 속성은 기울기 기반 또는 섭동 기반 방법과 비교해 편향과 강건성 측면에서 어떻게 차이가 나는가?

주요 결과

• SCM과 ACE를 기반으로 하고 다른 입력들을 주변화하여 특성 간 상관관계로 인한 편향을 피하는 원칙적 인과 속성 방법을 제안한다.
• Taylor 전개와 간섭적 공분산을 사용해 간섭적 기대값을 계산하는 방법을 보여주어 ACE 추정의 확장 가능성을 확보한다.
• 실시간으로 ACE를 추정하기 위한 인과 회귀기를 도입하여 계산 비용을 감소시킨다.
• RNN에 적합한 주변화 고려를 통해 이 접근법을 순환 신경망에 확장한다.
• 아이리스 데이터 세트, 시뮬레이션 데이터, 비행기 궤적 데이터에서의 실험적 결과가 특정 설정에서 기울기 기반 기준선보다 유용하고 우수하다는 점을 보여준다.