[논문 리뷰] Explaining Classifiers with Causal Concept Effect (CaCE)

Yash Goyal, Amir Feder외 2명|arXiv (Cornell University)|2019. 07. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 24인용 수 92

한 줄 요약

이 논문은 CaCE를 해석 가능한 인간 개념이 분류기의 출력에 미치는 인과적 효과로 정의하고 CaCE를 추정하기 위한 VAE 기반 방법을 제안하며 전역 설명에서의 교란(confounding)을 감소시킨다.

ABSTRACT

How can we understand classification decisions made by deep neural networks? Many existing explainability methods rely solely on correlations and fail to account for confounding, which may result in potentially misleading explanations. To overcome this problem, we define the Causal Concept Effect (CaCE) as the causal effect of (the presence or absence of) a human-interpretable concept on a deep neural net's predictions. We show that the CaCE measure can avoid errors stemming from confounding. Estimating CaCE is difficult in situations where we cannot easily simulate the do-operator. To mitigate this problem, we use a generative model, specifically a Variational AutoEncoder (VAE), to measure VAE-CaCE. In an extensive experimental analysis, we show that the VAE-CaCE is able to estimate the true concept causal effect, compared to baselines for a number of datasets including high dimensional images.

연구 동기 및 목표

• CaCE(인과적 개념 효과)를 분류기의 출력에 대한 이진 또는 범주형 개념의 평균 인과 효과로 정의한다.
• 이미지 생성 과정을 근사하기 위해 생성 모델을 사용하여 CaCE를 추정하는 프레임워크를 제안한다.
• 다양한 데이터셋에 걸쳐 CaCE 추정이 상관관계 기반 방법에 비해 교란을 줄일 수 있음을 보인다.
• CaCE 추정에 대한 신뢰도를 높이기 위한 진단 테스트를 제공한다.
• 고차원 이미지 데이터에서 CaCE 추정을 시연하고 블랙박스 분류기에의 적용 가능성을 논의한다.

제안 방법

• CaCE를 E[f(I)|do(C0=1)] − E[f(I)|do(C0=0)]로 도입하여, 개념의 분류기 출력에 대한 평균 처리 효과로 정의한다.
• 개념과 클래스 레이블에 조건부로 구성된 조건부 VAE(DC-VAE)로 이미지 생성 과정을 모델링하여 p(I|C0, L)을 근사한다.
• CaCE 추정을 위한 반사실적 이미지를 VAE 디코더만 사용하여 생성하는 Dec-CaCE를 제안한다.
• 특정 이미지나 이미지 세트에 대해 CaCE를 추정하기 위해 VAE 인코더와 디코더를 모두 사용하는 EncDec-CaCE를 제안한다.
• 진단 테스트를 제공한다: (I) 양의 효과(개념이 레이블과 같음) 및 (II) 영효과(임의 더미 개념).
• 제어된 설정에서 GT-CaCE로 CaCE를 평가하고 데이터셋 전반에서 ConExp와 TCAV와 비교한다.

실험 결과

연구 질문

• RQ1 CaCE가 단순한 상관관계가 아니라 고수준 개념이 분류기의 출력에 미치는 인과적 영향을 정량화할 수 있는가?
• RQ2 조건부 VAE가 실제 이미지 생성 과정을 얼마나 잘 근사하여 CaCE를 추정할 수 있는가?
• RQ3 Dec-CaCE와 EncDec-CaCE가 기반선과 비교하여 편향이 없거나 더 정확한 CaCE 추정을 제공하는가?
• RQ4 진단 테스트가 CaCE 추정이 교란되었거나 신뢰할 수 없는 시점을 식별하는 데 도움이 되는가?
• RQ5 합성 및 실제 고차원 이미지 데이터셋에서 CaCE 추정은 어떻게 동작하는가?

주요 결과

• CaCE 추정값(Dec-CaCE 및 EncDec-CaCE를 통해)은 제어된 데이터셋에서 실제 CaCE와 일치하고 교란이 존재할 때 상관관계 기반 기준선보다 낮은 경향이 있다.
• BARS 및 Colored-MNIST 데이터셋에서 GT-CaCE를 맞추는 데 Dec-CaCE가 일반적으로 EncDec-CaCE보다 우수하다.
• 제안된 방법을 사용한 CaCE 추정은 COCO-Miniplaces 및 CelebA의 고차원 설정에서 ConExp 및 TCAV보다 실제값에 더 가깝다.
• CaCE는 분류기 복잡도 증가에 따라 커지는 경향이 있으며, 더 풍부한 생성 모델(합성 DC-VAE)은 더 단순한 구조보다 GT-CaCE에 더 가까운 추정치를 제공한다.
• 진단 테스트는 VAE 기반 접근법의 잠재적 실패를 경고하고 강한 교란 하에서의 한계를 부각시킬 수 있다.