[논문 리뷰] CXPlain: Causal Explanations for Model Interpretation under Uncertainty

Patrick Schwab, Walter Karlen|arXiv (Cornell University)|2019. 10. 27.

Explainable Artificial Intelligence (XAI)인용 수 75

한 줄 요약

CXPlain은 어떤 예측기든 특성 중요도를 인과적으로 추정하기 위해 별도의 설명 모델을 학습하고, 부트스트랩 기반의 불확실성으로 다양한 모델-독립적 방법을 능가하며 빠른 설명을 가능하게 한다.

ABSTRACT

Feature importance estimates that inform users about the degree to which given inputs influence the output of a predictive model are crucial for understanding, validating, and interpreting machine-learning models. However, providing fast and accurate estimates of feature importance for high-dimensional data, and quantifying the uncertainty of such estimates remain open challenges. Here, we frame the task of providing explanations for the decisions of machine-learning models as a causal learning task, and train causal explanation (CXPlain) models that learn to estimate to what degree certain inputs cause outputs in another machine-learning model. CXPlain can, once trained, be used to explain the target model in little time, and enables the quantification of the uncertainty associated with its feature importance estimates via bootstrap ensembling. We present experiments that demonstrate that CXPlain is significantly more accurate and faster than existing model-agnostic methods for estimating feature importance. In addition, we confirm that the uncertainty estimates provided by CXPlain ensembles are strongly correlated with their ability to accurately estimate feature importance on held-out data.

연구 동기 및 목표

• 모든 머신러닝 모델에 대해 불확실성을 정량화하는 빠르고 정확한 특성 중요도 추정의 필요성을 제시한다.
• 설명된 모델을 재학습시키지 않고 다른 모델을 설명하도록 학습하는 인과적 설명(CXPlain) 프레임워크를 도입한다.
• 설명 모델의 부트스트랩 재샘플링을 통해 특성 중요도의 불확실성 정량화를 가능하게 한다.
• CXPlain이 기존 방법보다 더 정확하고 더 빠르면서도 신뢰할 수 있는 불확실성 추정치를 제공함을 입증한다.

제안 방법

• 타깃 모델 fhat를 재학습시키지 않고 설명하기 위해 별도의 CXPlain 모델을 학습시켜 설명을 감독 학습 문제로 형식화한다.
• 그랜저 인과관계에서 영감을 받은 손실을 통해 예측 정확도에 대한 특성의 주변적 기여를 정량화하기 위한 인과적 목표를 사용한다.
• 각 특징을 사용했을 때와 사용하지 않았을 때의 예측 손실을 비교하여 표본별 중요도를 계산하고 (x_i를 마스킹해 X\{i}를 얻음) 분포 Ω으로 정규화한다.
• 인과 손실을 L_causal = (1/N) sum KL(Omega_X, A_X)로 정의하여 CXPlain의 출력이 실제 인과 중요도와 일치하도록 한다.
• 다른 데이터 양상에 대응하기 위한 설명 모델의 신경망 구조(MLP와 U-net)를 탐구하고, 이미지에 대한 특화 가능성에 주의한다.
• 특성 중요도에 대한 불확실성 추정치를 도출하기 위해 부트스트랩 앙상블을 도입하고, 앙상블 중앙값과 분위수 기반 신뢰 구간을 사용한다.

실험 결과

연구 질문

• RQ1 CXPlain이 표준 벤치마크(MNIST, ImageNet) 및 다양한 데이터 양상에서 최첨단 모델-독립적 방법보다 특성 중요도 추정 정확도가 더 높게 달성될 수 있는가?
• RQ2 기존의 모델-독립적 특성 기여도 산출 방법에 비해 평가 시점에서 CXPlain이 더 빠른가, 모델-독립성은 유지되면서?
• RQ3 부트스트랩 기반 불확실성 추정치가 보류 데이터에서 할당된 특성 중요도의 정확도를 신뢰성 있게 반영하는가?
• RQ4 아키텍처 선택(MLP 대 U-net)이 이미지 데이터에 대한 설명 품질에 어떤 영향을 미치는가?

주요 결과

• CXPlain(특히 U-net 아키텍처를 사용하는 경우)은 MNIST 및 ImageNet 벤치마크에서 정확도 면에서 최첨단 방법과 동등하거나 이를 능가한다.
• CXPlain은 LIME 및 SHAP와 같은 모델-독립적 방법에 비해 평가 시간이 훨씬 빠르다.
• 부트스트랩 앙상블은 보류 데이터에서 특성 중요도 추정의 실제 품질과 상관관계가 있는 불확실성 추정치를 생성하며, 앙상블 크기가 증가할수록 개선된다.
• 특화된 이미지 아키텍처(예: U-net)가 이미지 데이터에 대해 일반적 MLP보다 더 나은 설명 성능을 보인다.
• CXPlain의 설명은 의미적으로 중요한 영역에 더 집중되는 경향이 있어 속성 부여가 질적으로 더 깔끔하다.