[논문 리뷰] Generative causal explanations of black-box classifiers

Matthew O’Shaughnessy, Gregory Canal외 3명|arXiv (Cornell University)|2020. 06. 24.

Explainable Artificial Intelligence (XAI)참고 문헌 73인용 수 16

한 줄 요약

이 논문은 블랙박스 분류기의 원인적 설명을 위한 생성형 원인적 설명 프레임워크를 제안하며, 전반적이고 국소적인 원인적 설명을 생성하기 위해 분리된 저차원 잠재 표현을 학습한다. 상호정보량을 통한 데이터 충실도와 원인적 영향을 균형 잡는 공동 목적함수를 최적화하여, 실제적이고 데이터 분포에 부합하는 역행성 예측을 생성함으로써, 분류기 결정에 영향을 주는 잠재 요인을 드러낸다. 이는 해석성과 타당성 면에서 시각화 지도보다 뛰어나다.

ABSTRACT

We develop a method for generating causal post-hoc explanations of black-box classifiers based on a learned low-dimensional representation of the data. The explanation is causal in the sense that changing learned latent factors produces a change in the classifier output statistics. To construct these explanations, we design a learning framework that leverages a generative model and information-theoretic measures of causal influence. Our objective function encourages both the generative model to faithfully represent the data distribution and the latent factors to have a large causal influence on the classifier output. Our method learns both global and local explanations, is compatible with any classifier that admits class probabilities and a gradient, and does not require labeled attributes or knowledge of causal structure. Using carefully controlled test cases, we provide intuition that illuminates the function of our objective. We then demonstrate the practical utility of our method on image recognition tasks.

연구 동기 및 목표

• 라벨이 부여된 속성이나 알려진 원인적 구조가 없는 상황에서도 블랙박스 분류기의 원인적, 역행성 예측 설명을 제공하는 사후 설명 방법을 개발하는 것.
• 데이터 분포 내에 머물도록 보장하여 부자연스럽거나 비현실적인 변형을 피함으로써 의미 있는 역행성 예측을 생성하는 과제를 해결하는 것.
• 분류기 출력에 대해 측정 가능한 원인적 영향을 지닌 분리된 잠재 요인을 학습하는 단일 생성 모델을 통해 전역적 및 국소적 설명 기능을 통합하는 것.
• 정보이론적 측정치를 사용하여 원인적 영향을 정형화하고, 구조적 원인 모델 프레임워크 내에서 잠재 요인 $\alpha$와 분류기 출력 $Y$ 간의 상호정보량 $I(\alpha; Y)$을 구체적으로 측정하는 것.
• 실제 이미지 샘플을 생성함으로써 시각 작업에서 실용적이고 해석 가능한 설명을 가능하게 하는 것, 이는 잠재 요인의 원인적 변화를 반영한다.

제안 방법

• 모델은 입력 데이터의 분리된 저차원 잠재 표현을 학습하기 위해 변분 오토인코더(Variational Autoencoder, VAE)를 사용하여 특정 데이터 특성에 대한 제어를 가능하게 한다.
• 데이터 충실도(재구성 품질)와 원인적 영향을 균형 잡는 공동 최적화 목적함수를 사용하며, 후자는 잠재 요인 $\alpha$와 분류기 출력 $Y$ 간의 상호정보량 $I(\alpha; Y)$로 측정된다.
• 구조적 원인 모델(Structural Causal Model, SCM)을 사용하여 원인 관계를 정형화하여, 잠재 요인이 원인적으로 관련이 있을 경우 분류기 출력에 직접적인 영향을 미치도록 보장한다.
• 생성 모델은 학습된 잠재 공간에서 데이터 공간으로 매핑하여, 원인적 변화를 반영한 실제적인 역행성 샘플을 합성할 수 있다.
• 모든 분류기에서 클래스 확률과 기울기를 제공하는 한, 이 방법은 어떤 분류기와도 호환되며, 엔드 투 엔드 학습과 설명 생성을 가능하게 한다.
• 모델의 균형을 위해 하이퍼파rameter $\lambda$를 사용하여, 충실한 데이터 재구성과 잠재 공간 내 강력한 원인적 영향 간의 트레이드오프를 조정한다.

실험 결과

연구 질문

• RQ1 라벨이 부여된 속성이나 알려진 원인적 구조에 의존하지 않고도, 실제적이고 원인적으로 의미 있는 역행성 예측을 생성할 수 있는 생성 모델을 훈련시킬 수 있는가?
• RQ2 블랙박스 환경에서 분류기 출력에 대한 잠재 요인의 원인적 영향을 엄밀하게 측정하고 최적화할 수 있는가?
• RQ3 분리된 잠재 표현은 시각화 지도나 특성 할당 방법에 비해 해석성과 표현력 면에서 얼마나 향상시킬 수 있는가?
• RQ4 모델 용량(예: VAE의 필터 수)과 동시에 높은 데이터 충실도와 강력한 원인적 영향을 달성할 수 있는 능력 간의 관계는 어떠한가?
• RQ5 동일한 프레임워크를 사용하여 전역 설명(데이터 매니폴드 전반의 요인 조작)과 국소 설명(개별 예측에 대한 설명)을 모두 생성할 수 있는가?

주요 결과

• 모델은 특정 요인(예: 색상)의 변화가 분류기 출력에 측정 가능하고 일관된 변화를 유도하는 반면, 다른 요인(예: 모양)의 변화는 영향을 주지 않는 등 원인적 제어를 보여주는 분리된 잠재 요인을 성공적으로 학습하였다.
• 적절한 모델 용량(예: 1층당 64개 필터)을 가질 경우, 생성된 샘플은 훈련 데이터에 매우 가까워지며, 원인적 요소는 분류기 관련 요소와 일치함을 정성적 결과로 확인하였다.
• 3클래스의 패션-MNIST 분류기에서 상호정보량 값 $I(\alpha; Y) = 1.03$ nats를 얻어 예측 오차의 경계 $\pi(Y|\alpha) \leq 0.05$ 가 도출되었으며, 이는 원인적 요소가 블랙박스 분류기 행동의 최소 95%를 설명함을 의미한다.
• 모델 용량이 부족할 경우(예: 1층당 8개 필터), 데이터 재구성 품질이 떨어지고 잠재 요소와 분류기 행동 간의 대응 관계도 약해져, 유효한 설명을 위해 용량의 중요성을 입증하였다.
• 해당 프레임워크는 해석성 면에서 시각화 지도를 능가한다. 이는 흐린, 노이즈가 많은 할당 지도가 아닌 실제적이고 의미 있는 역행성 예측을 생성하기 때문이다.
• 이 방법은 전역 및 국소 설명을 모두 가능하게 한다: 전역은 잠재 공간 내 요인별 조작을 통해, 국소는 개별 입력에 대응하는 잠재 코드를 통해 실현된다.