[논문 리뷰] Causal Explanations and XAI

Sander Beckers|arXiv (Cornell University)|2022. 01. 31.

Explainable Artificial Intelligence (XAI)인용 수 13

한 줄 요약

이 논문은 인과적 설명—충분성 설명과 반사적 설명을 공식화하고, 구조적 인과 모델에 기반한 행동 유도형 실제 원인의 새로운 정의를 제안한다. 실제 원인이 행동 유도에 있어 반사적 설명보다 더 강력하고 신뢰할 수 있는 설명을 제공함을 보이며, 표준 반사적 의존성이 성립하지 않을 때조차도 부당한 인과적 영향을 탐지할 수 있는 실제 원인에 기반한 새로운 공정성 기준을 제안한다.

ABSTRACT

Although standard Machine Learning models are optimized for making predictions about observations, more and more they are used for making predictions about the results of actions. An important goal of Explainable Artificial Intelligence (XAI) is to compensate for this mismatch by offering explanations about the predictions of an ML-model which ensure that they are reliably action-guiding. As action-guiding explanations are causal explanations, the literature on this topic is starting to embrace insights from the literature on causal models. Here I take a step further down this path by formally defining the causal notions of sufficient explanations and counterfactual explanations. I show how these notions relate to (and improve upon) existing work, and motivate their adequacy by illustrating how different explanations are action-guiding under different circumstances. Moreover, this work is the first to offer a formal definition of actual causation that is founded entirely in action-guiding explanations. Although the definitions are motivated by a focus on XAI, the analysis of causal explanation and actual causation applies in general. I also touch upon the significance of this work for fairness in AI by showing how actual causation can be used to improve the idea of path-specific counterfactual fairness.

연구 동기 및 목표

• 행동 유도 해석을 지원하기 위한 XAI에서의 인과적 개념으로서 충분성 설명과 반사적 설명을 체계화한다.
• 행동 유도 해석과 인과적 구조에 완전히 기반한 실제 원인을 정의한다.
• 불공정한 경로를 따라 반사적 의존성을 실제 원인으로 대체함으로써 AI의 공정성 평가를 향상시킨다.
• 후행적 맥락, 예를 들어 공정성 감사와 같은 상황에서 실제 원인이 반사적 설명보다 더 정확하고 신뢰할 수 있는 설명을 제공함을 보여준다.
• 모델 해석을 넘어서 실제 행동과 공정성으로까지 확장되는 인과성 통합의 개념적 기반을 구축한다.

제안 방법

• 외생 및 내생 변수를 포함한 구조적 인과 모델(Structural Causal Models, SCMs)을 사용하여 인과 관계를 체계화한다.
• 개입 시 특정 결과를 보장하는 조건의 집합으로 충분성 설명을 정의한다.
• 관찰된 결과를 변화시킬 수 있었던 개입으로 반사적 설명을 정의한다.
• 충분성과 반사적 민감성 조건을 모두 만족하는 원인-결과 관계로서 실제 원인을 도입한다.
• 불공정한 경로를 따라 실제 원인에 기반한 공정성 기준을 제안하며, 인과 네트워크에 대한 결정론적 조건으로 체계화한다.
• 표준 반사적 설명이 실패하는 상황에서 실제 원인이 편향을 탐지할 수 있음을 보여주는 반사적 공정성 사례에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 행동 유도를 지원하기 위해 인과 프레임워크 내에서 충분성 설명과 반사적 설명을 체계화할 수 있는가?
• RQ2 실제 원인은 반사적 또는 충분성 설명과 무엇이 다른가? 왜 실제 원인이 신뢰할 수 있는 행동 유도에 더 적합한가?
• RQ3 실제 원인은 어떻게 존재하는 반사적 공정성 정의를 초월해 AI의 공정성 평가를 향상시킬 수 있는가?
• RQ4 어떤 방식으로 실제 원인이 공정성 감사와 같은 후행적 맥락에서 더 정확한 설명을 제공하는가?
• RQ5 표준 반사적 의존성이 성립하지 않을 때조차도 실제 원인 기반의 공정성 기준이 부당한 영향을 탐지할 수 있는가?

주요 결과

• 이 논문은 행동 유도 해석에 완전히 기반한 첫 번째 실제 원인의 공식적 정의를 제공하며, 순수한 반사적 또는 충분 조건과 이를 구분한다.
• 실제 원인이 반사적 설명보다 더 정보가 풍부한 이유는, 맥락에 민감하게 필요한 조건과 충분한 조건을 동시에 특정하기 때문이다.
• 특정 보호 변수(예: 종교적 신념)가 인과적 메커니즘의 연쇄 작용을 통해 부정적 채용 결과를 초래하는 사례에서, 표준 반사적 의존성이 성립하지 않더라도 실제 원인이 이를 부당하다고 정확히 식별함을 보였다.
• 불공정한 경로를 따라 실제 원인에 기반한 제안된 공정성 기준은, 경로별 반사적 공정성 기준이 실패하는 상황—예를 들어 충돌하는 기각 규칙이 있는 이진 채용 모델—에서도 편향을 탐지할 수 있다.
• 프레임워크는 반사적 공정성이 너무 관대할 수 있음을 드러내며, 보호 변수가 불공정한 메커니즘을 통해 결과에 영향을 줄 수 있음에도 불구하고 시스템을 공정하다고 분류할 수 있음을 보여준다.
• 결과는 실제 원인이 반사적 의존성만으로는 부족한 바탕보다 더 강력하고 직관적인 공정성 평가 기반을 제공함을 입증한다.