[논문 리뷰] Inducing Causal Structure for Interpretable Neural Networks

Atticus Geiger, Zhengxuan Wu외 6명|arXiv (Cornell University)|2021. 12. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 4

한 줄 요약

이 논문은 신경망 표현을 상징적 원인론적 모델과 정렬시켜 학습 중 반사적 행동을 강제하는 미분 가능한 방법인 Interchange Intervention Training (IIT)을 소개한다. IIT는 신경망 모델이 당초 목표로 삼은 원인론적 구조를 실현함으로써, 시각, 언어, 추론 작업 전반에서 정확도와 해석 가능성 측면에서 다중 작업 학습 및 데이터 증강 기법보다 뛰어난 성능을 발휘한다.

ABSTRACT

In many areas, we have well-founded insights about causal structure that would be useful to bring into our trained models while still allowing them to learn in a data-driven fashion. To achieve this, we present the new method of interchange intervention training (IIT). In IIT, we (1) align variables in a causal model (e.g., a deterministic program or Bayesian network) with representations in a neural model and (2) train the neural model to match the counterfactual behavior of the causal model on a base input when aligned representations in both models are set to be the value they would be for a source input. IIT is fully differentiable, flexibly combines with other objectives, and guarantees that the target causal model is a causal abstraction of the neural model when its loss is zero. We evaluate IIT on a structural vision task (MNIST-PVR), a navigational language task (ReaSCAN), and a natural language inference task (MQNLI). We compare IIT against multi-task training objectives and data augmentation. In all our experiments, IIT achieves the best results and produces neural models that are more interpretable in the sense that they more successfully realize the target causal model.

연구 동기 및 목표

• 데이터 기반 학습을 유지하면서도 잘 정립된 원인론 지식을 신경망에 통합하기 위해.
• 기존의 해석 가능성 기법이 학습된 모델을 분석하는 데 그치는 데 반해, 모델의 구조 자체를 능동적으로 형성하지 못하는 한계를 해결하기 위해.
• 최적화가 수렴할 때 신경망 모델이 목표 원인론 모델을 실현하도록 보장하는 학습 목표를 개발하기 위해.
• 원인론적 구조를 강제로 적용함으로써 체계적 일반화와 모델의 해석 가능성 향상 여부를 평가하기 위해.
• 행동 성능와 원인론적 충실도 측면에서 IIT를 다중 작업 학습 및 데이터 증강 기법과 비교하기 위해.

제안 방법

• IIT는 상징적 원인론 모델 C의 변수들을 신경망 N의 표현과 정렬시킨다.
• C의 출력을 정답 레이블로 삼아, 입력 간의 내부 상태를 바꾸는 '교환 간섭'을 수행함으로써, N을 C의 반사적 행동을 재현하도록 학습시킨다.
• 입력 쌍 전반에 걸쳐 신경망의 간섭 출력과 원인론 모델의 반사적 출력 간의 교차 엔트로피를 최소화하는 것이 학습 목표이다.
• 이 방법은 완전히 미분 가능하며, 다중 작업 학습이나 데이터 증강과 같은 다른 목표와도 조합할 수 있다.
• 원인론적 구조는 간섭 기반 감독을 통해 강제되며, 모델은 정렬된 표현에서 반사적 변형에 대해 일관된 반응을 보이도록 학습된다.
• 이 방법은 손실이 0이 될 경우, 원인론 모델이 신경망의 원인론적 추상화임을 보장한다 (Beckers & Halpern, 2019).

실험 결과

연구 질문

• RQ1 정의된 상징적 원인론적 구조를 유지하면서도 높은 성능을 달성할 수 있도록 신경망을 학습시킬 수 있는가?
• RQ2 IIT를 통해 원인론적 구조를 강제 적용하면 표준 학습 또는 데이터 증강보다 더 나은 체계적 일반화를 이룰 수 있는가?
• RQ3 행동 정확도와 해석 가능성 측면에서 IIT는 다중 작업 학습 및 데이터 증강 기법과 어떻게 비교될 수 있는가?
• RQ4 IIT는 다른 학습 목표와의 영리한 조합을 통해 모델 성능과 구조를 추가로 향상시킬 수 있는가?
• RQ5 IIT는 얼마나 깊이까지 신경망의 내부 표현이 의도한 원인론적 추상화를 반영하도록 보장하는가?

주요 결과

• MQNLI 작업에서 IIT는 거의 완벽한 행동 정확도 (≈100%)와 교환 간섭 정확도 (≈100%)를 달성하여 목표 원인론 모델과의 강력한 정렬을 보였다.
• 데이터 증강은 거의 완벽한 행동 정확도를 달성했지만, 교환 간섭 정확도는 30–40%에 그쳐, 해석 가능한 모델을 생성하지 못하는 것으로 나타났다.
• 다중 작업 학습과 IIT를 조합하면 성능이 더욱 향상되어 상호보완적 이점이 있음을 시사했다.
• QPObj를 BERT의 6번 이후 레이어와 정렬할 경우 가장 우수한 결과를 얻었으며, 높은 행동 정확도와 간섭 정확도를 동시에 확보했다.
• ReaSCAN 및 MNIST-PVR에서 IIT는 체계적 일반화와 원인론적 충실도 측면에서 다중 작업 및 데이터 증강 기반 모델을 모두 압도했다.
• IIT는 다양한 작업 전반에서 의도한 원인론적 구조를 성공적으로 유도하여, 다양한 작업에 일반화 가능하고 효과적인 해석 가능한 신경망을 만드는 데 성공했다.