[논문 리뷰] How Much Should I Trust You? Modeling Uncertainty of Black Box Explanations.

Dylan Slack, Sophie Hilgard외 2명|arXiv (Cornell University)|2020. 08. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 10

한 줄 요약

이 논문은 국소적 블랙박스 모델 설명의 불확실성을 모델링하기 위한 베이지안 프레임워크를 제안하며, 특성 기여도에 대한 신뢰구간을 가능하게 한다. 불확실성 추정을 통해 방법은 신뢰성과 분산을 향상시키고, LIME 및 KernelSHAP에서 효율적인 샘플링을 이끌어내며, 경험적 검증을 통해 더 날카롭고 신뢰할 수 있는 설명을 제공한다.

ABSTRACT

As local explanations of black box models are increasingly being employed to establish model credibility in high stakes settings, it is important to ensure that these explanations are accurate and reliable. However, local explanations generated by existing techniques are often prone to high variance. Further, these techniques are computationally inefficient, require significant hyper-parameter tuning, and provide little insight into the quality of the resulting explanations. We identify lack of uncertainty modeling as a main cause of these challenges and develop a novel set of tools for analyzing explanation uncertainty in a Bayesian framework. In particular, we estimate credible intervals (CIs) that capture the uncertainty associated with each feature importance in local explanations. These credible intervals are tight when we have high confidence in the feature importances of a local explanation. The CIs are also informative both for estimating how many perturbations we need to sample -- sampling can proceed until the CIs are sufficiently narrow -- and where to sample -- sampling in regions with high predictive uncertainty leads to faster convergence. We instantiate this framework to generate Bayesian versions of LIME and KernelSHAP. Experimental evaluation with multiple real world datasets and user studies demonstrate the efficacy of our framework and the resulting explanations.

연구 동기 및 목표

• 고위험 응용 분야에서 블랙박스 모델에 대한 기존 국소 설명 방법의 높은 분산과 신뢰성 부족 문제를 해결하기 위해.
• 현재 설명 기법의 불안정성과 비효율성의 주요 원인으로 불확실성 모델링의 부재를 규명하기 위해.
• 국소 설명의 특성 기여도 추정치의 불확실성을 정량화하는 베이지안 프레임워크를 개발하기 위해.
• 불확실성에 기반해 어디서, 얼마나 많은 변형을 샘플링할지를 지시함으로써 적응형 샘플링을 가능하게 하기 위해.
• 신뢰구간을 통해 특성 기여도에 대한 자신감을 반영하는 정보적인 신뢰구간을 제공함으로써 설명 품질과 신뢰성을 향상시키기 위해.

제안 방법

• 특성 기여도에 대한 사후분포를 추정함으로써 국소 설명의 불확실성을 베이지안 접근법으로 모델링하기 위해.
• 각 특성 기여도에 대해 신뢰구간(CI)을 계산하여 추정치의 불확실성을 반영하고, 더 확신 있는 예측일수록 좁아지는 구조로 만들기 위해.
• 블랙박스 모델의 예측 불확실성을 활용해 샘플링 전략을 안내함—불확실성이 높은 영역을 우선순위로 삼아 수렴 속도를 높이기 위해.
• LIME 및 KernelSHAP에 대해 샘플링 및 피팅 절차를 베이지안 추론를 통합하도록 수정함으로써 프레임워크를 구현하기 위해.
• 신뢰구간의 너비에 기반해 언제 샘플링을 중단할지를 동적으로 결정함으로써 과잉 샘플링을 방지하면서도 충분한 정밀도를 유지하기 위해.
• 기본 모델 아키텍처에 대한 변경 없이도 설명 파이프라인에 불확실성 정량화를 통합하기 위해.

실험 결과

연구 질문

• RQ1 국소 모델 설명의 불확실성을 어떻게 정량화할 수 있을까? 이는 신뢰성과 신뢰도를 향상시키는 데 기여한다.
• RQ2 불확실성 모델링이 다양한 데이터셋에서 특성 기여도 추정치의 분산을 어느 정도 감소시키는가?
• RQ3 무작위 또는 균일 샘플링에 비해 불확실성 인식 샘플링 전략은 필요한 변형 수를 얼마나 줄일 수 있는가?
• RQ4 제안된 프레임워크의 신뢰구간은 사용자에게 개별 특성 기여도에 대한 자신감을 어떻게 반영하는가?
• RQ5 LIME 및 KernelSHAP의 베이지안 적응판은 기존 표준판 대비 설명 품질과 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 베이지안 프레임워크는 특성 기여도 추정치의 불확실성을 효과적으로 포착하는 신뢰구간을 생성하며, 좁은 구간은 더 높은 자신감을 의미한다.
• 표준 LIME 및 KernelSHAP에 비해 국소 설명의 분산을 줄여 더 일관되고 신뢰할 수 있는 결과를 이끌어낸다.
• 불확실성 기반 샘플링 전략은 좁은 신뢰구간을 달성하기 위해 필요한 변형 수를 크게 줄여 계산 효율성을 향상시킨다.
• 사용자 연구 결과, 신뢰구간이 포함된 설명은 표준 설명보다 더 신뢰할 수 있고 정보가 풍부하다고 평가된다.
• 신뢰구간 너비에 기반해 샘플링을 동적으로 중단함으로써 불필요한 계산을 방지하면서도 정밀도를 유지할 수 있다.
• LIME 및 KernelSHAP의 베이지안 판은 비베이지안 판에 비해 설명의 안정성과 사용자 인식 기반의 신뢰성 측면에서 모두 뛰어나다.