[논문 리뷰] Getting a CLUE: A Method for Explaining Uncertainty Estimates

Javier Antorán, Umang Bhatt외 3명|arXiv (Cornell University)|2020. 06. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 50인용 수 41

한 줄 요약

CLUE은 딥 생성 모델의 잠재 공간에서 반사실(counterfactuals)을 생성하여 신경망 예측 불확실성을 설명하고, 불확실성 중심의 설명 및 평가를 가능하게 하며, 강력한 실증 및 사용자 연구 지원이 있습니다.

ABSTRACT

Both uncertainty estimation and interpretability are important factors for trustworthy machine learning systems. However, there is little work at the intersection of these two areas. We address this gap by proposing a novel method for interpreting uncertainty estimates from differentiable probabilistic models, like Bayesian Neural Networks (BNNs). Our method, Counterfactual Latent Uncertainty Explanations (CLUE), indicates how to change an input, while keeping it on the data manifold, such that a BNN becomes more confident about the input's prediction. We validate CLUE through 1) a novel framework for evaluating counterfactual explanations of uncertainty, 2) a series of ablation experiments, and 3) a user study. Our experiments show that CLUE outperforms baselines and enables practitioners to better understand which input patterns are responsible for predictive uncertainty.

연구 동기 및 목표

• 확률 모델, 특히 BNN에서 해석 가능한 불확실성 추정의 필요성을 동기부여한다.
• 데이터 매니폴드 위에 머물면서 모델 불확실성을 줄이는 가장 작은 잠재 공간 변화들을 식별하기 위해 CLUE를 도입한다.
• 불확실성의 반사실 설명을 평가하기 위한 계산적 평가 프레임워크를 제공한다.
• 표 형태 및 이미지 데이터 세트에서 CLUE의 효과를 인간 연구를 통해 입증한다.

제안 방법

• 원래 입력에 가까우면서도 더 낮은 불확실성을 유발하는 입력을 탐색하기 위해 보조 잠재 공간 딥 생성 모델(DGM)과 VAE 디코더를 정의한다.
• CLUE 목적 함수 L(z) = H(y|mu_theta(x|z)) + d(mu_theta(x|z), x0) 를 형식화하고 잠재 코드 z에 대해 최적화하여 x_CLUE를 얻는다.
• DGM 디코더를 사용하여 z_CLUE를 x_CLUE로 디코딩하고, 변화가 분포 내에 남아 있고 데이터 매니폴드에 근접하도록 한다.
• 회귀 및 분류 작업에 적용 가능한, 인식론적(epistemic) 및 알레오틱(aleatoric) 구성요소를 모두 포함하는 불확실성 추정기 H를 사용한다.
• 초기화 전략 z0 = mu_phi(z|x0)을 적용하고 여러 실행을 수행하여 다양한 CLUE를 얻으며, 수렴 기준에 따라 조기 중단한다.

실험 결과

연구 질문

• RQ1 입력에 대해 가장 작은 변화가 분포 내에 남아 있을 때 BNN이 예측에 대해 더 확실하게 만드는가?
• RQ2 잠재 공간 반사실(CLUE)이 고유의, 분포 내의 의미 있는 설명을 제공하는가?
• RQ3 CLUE는 불확실성을 설명하는 데 있어 기본 불확실성 설명 및 특징 중요도 방법과 어떻게 비교되는가?
• RQ4 참된 데이터 생성 과정이 불확실성의 반사실 설명에 대한 객관적 평가를 가능하게 하는가?

주요 결과

• CLUE은 여러 데이터 세트와 작업에서 불확실성 설명에 대해 기준보다 우수한 성능을 보인다.
• 잠재 공간 탐색을 사용하면 CLUE가 분포 내에 남아 있고 해석 가능하게 유지되며, 오프-매니폴드에 대한 섭동을 피한다.
• 계산적 평가에서 CLUE는 U-FIDO보다 더 많은 실제 불확실성을 설명하는 반면, U-FIDO는 입력 변화가 더 작다.
• 그라운드 트루스 생성 모델에 의한 평가 지표에서 CLUE가 10개 작업 중 8개에서 최상위 성능을 달성한다.
• 사용자 연구에서 CLUE가 새로운 입력에 대해 BNN이 확신할지 불확실할지 예측하는 실무자의 능력을 향상시키고, Local Sensitivity 및 다른 기준선들보다 우수한 성과를 보인다.
• 더 표현력이 높은 보조 DGMs는 CLUE를 더 관련성 있게 만들고(유사한 불확실성 감소에 대해 더 작은 입력 변화), 불확실성에 대한 정보 내용을 유지한다.