[논문 리뷰] Generating Interpretable Counterfactual Explanations By Implicit Minimisation of Epistemic and Aleatoric Uncertainties

Lisa Schut, Oscar Key외 5명|arXiv (Cornell University)|2021. 03. 16.

Explainable Artificial Intelligence (XAI)인용 수 13

한 줄 요약

이 논문은 보조 생성 모델이 필요 없이 분류기 내부에서 경험적 불확실성과 앨레아토릭 불확실성을 암묵적으로 최소화함으로써 해석 가능한 역성질 설명(CEs)을 생성하는 화이트박스 방법을 제안한다. 이 방법은 CE의 현실성과 모호함이 줄어들게 하여 MNIST 및 테이블 데이터셋에서 최신 기술 수준의 IM1 점수를 달성하면서도, 변형 최소화 성능을 유지도 한다.

ABSTRACT

Counterfactual explanations (CEs) are a practical tool for demonstrating why machine learning classifiers make particular decisions. For CEs to be useful, it is important that they are easy for users to interpret. Existing methods for generating interpretable CEs rely on auxiliary generative models, which may not be suitable for complex datasets, and incur engineering overhead. We introduce a simple and fast method for generating interpretable CEs in a white-box setting without an auxiliary model, by using the predictive uncertainty of the classifier. Our experiments show that our proposed algorithm generates more interpretable CEs, according to IM1 scores, than existing methods. Additionally, our approach allows us to estimate the uncertainty of a CE, which may be important in safety-critical applications, such as those in the medical domain.

연구 동기 및 목표

• 복잡한 보조 생성 모델에 의존하지 않고도 현실적이고 명확한 역성질 설명을 생성하는 데 도전하는 것.
• 경험적(지식 부족) 및 앨레아토릭(기본적인 데이터 노이즈) 불확실성의 관점에서 역성질 설명의 해석 가능성 정의 및 구현 방법을 제시하는 것.
• 몬테카를로 드롭아웃과 같은 모델에서 이미 제공되는 불확실성 추정치를 활용하여, 최소한의 공학적 부담으로 고품질의 CEs를 생성하는 방법을 개발하는 것.
• 기존 접근법과 비교하여 불확실성 기반 최소화가 해석 가능성 향상에 기여함을 실증적으로 검증하는 것—특히 현실성과 명확성 측면에서.

제안 방법

• 몬테카를로 드롭아웃을 활용한 분류기를 사용하여 경험적 및 앨레아토릭 불확실성을 추정하고, 낮은 불확실성을 현실성과 명확성의 지표로 간주한다.
• 역성질 생성 과정에서 두 유형의 불확실성을 암묵적으로 최소화하는 손실 함수를 제안하며, 데이터 분포에 따라 가능성이 높고 명확하게 분류되는 입력을 선호한다.
• 예측을 뒤집으면서도 불확실성을 줄이는 최소한의 변화를 달성하기 위해, 기울기 기반으로 반복적으로 픽셀 단위로 입력을 변형한다.
• 별도의 생성 모델이 필요 없으며, 기본 분류기의 예측 불확실성에 의존함으로써 복잡성과 학습 오버헤드를 감소시킨다.
• 기울기와 불확실성 추정치가 직접적으로 접근 가능한 화이트박스 환경에서 적용된다.
• 해석 가능성 평가에는 IM1 점수를, 최소화 성능 평가에는 L1 거리를 사용하며, 앙상블 크기와 적대적 훈련에 대한 분석도 수행한다.

실험 결과

연구 질문

• RQ1 경험적 불확실성은 역성질 설명의 현실성 지표로 사용될 수 있는가?
• RQ2 앨레아토릭 불확실성은 경계 근처 또는 불확실한 예측을 식별함으로써 역성질의 모호함을 줄일 수 있는가?
• RQ3 두 유형의 불확실성을 암묵적으로 최소화하는 것이 보조 모델이 없는 기존 방법보다 더 해석 가능한 CEs를 도출하는가?
• RQ4 제안된 방법은 적대적 공격 기반 및 생성 모델 기반 기준선과 비교해 현실성과 최소화 성능 측면에서 어떻게 성과를 내는가?

주요 결과

• MNIST 데이터셋에서 제안된 방법은 IM1 점수 0.98을 기록하여 JSMA(1.11)와 VLK(1.12)를 뛰어넘어 뛰어난 현실성 성능을 입증했다.
• 유방암 진단 데이터셋에서 방법은 IM1 점수 0.89를 기록했으며, VLK(2.81)와 JSMA(1.06)에 비해 뛰어난 성능을 보였다. 이는 테이블 데이터에서의 강력한 성능을 확인한다.
• 보스턴 주택 데이터셋에서 방법은 IM1 점수 0.85를 기록했으며, VLK(2.55)와 JSMA(1.50)를 능가하여 해석 가능성 향상이 일관되게 유지됨을 확인했다.
• JSMA(예: MNIST에서 14.4 대비 38.3)보다 더 큰 L1 변형을 생성했음에도 불구하고, 더 현실적이고 해석 가능한 CEs를 도출하여 최소화와 해석 가능성 간의 트레이드오���이 타당함을 입증했다.
• 분석 결과, 앙상블 크기가 10개 모델까지 증가함에 따라 해석 가능성(IM1)이 향상되나, 이후에는 성과가 포화 상태에 이르며 수익 감소 현상이 나타남을 확인했다.
• 적대적 훈련은 IM1 점수를 향상시켰지만, 더 덜 흐린 설명을 유도하여 안정성과 흐림도 사이의 트레이드오프가 있음을 시사했다.