[논문 리뷰] BayLIME: Bayesian Local Interpretable Model-Agnostic Explanations

Xingyu Zhao, Wei Huang외 3명|Warwick Research Archive Portal (University of Warwick)|2020. 12. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 39인용 수 27

한 줄 요약

BayLIME는 원칙적인 베이지안 추론을 통해 사전 지식을 통합함으로써 설명의 일관성, 커널 설정에 대한 강건성, 정확도를 향상시키는 LIME 프레임워크의 베이지안 확장 기법을 제안한다. 베이지안 선형 모델을 통해 데이터 기반 추정치와 사전 지식을 조합함으로써 BayLIME는 반복적인 설명에서 분산을 감소시키고 다양한 XAI 응용 분야에서 신뢰성을 향상시킨다.

ABSTRACT

Given the pressing need for assuring algorithmic transparency, Explainable AI (XAI) has emerged as one of the key areas of AI research. In this paper, we develop a novel Bayesian extension to the LIME framework, one of the most widely used approaches in XAI -- which we call BayLIME. Compared to LIME, BayLIME exploits prior knowledge and Bayesian reasoning to improve both the consistency in repeated explanations of a single prediction and the robustness to kernel settings. BayLIME also exhibits better explanation fidelity than the state-of-the-art (LIME, SHAP and GradCAM) by its ability to integrate prior knowledge from, e.g., a variety of other XAI techniques, as well as verification and validation (V&V) methods. We demonstrate the desirable properties of BayLIME through both theoretical analysis and extensive experiments.

연구 동기 및 목표

• 확률적 샘플링에 의해 생성된 변형 인스턴스에 기반한 반복적인 LIME 설명의 일관성 부족 문제를 해결한다.
• LIME에서 알려진 한계인 커널 파라미터 설정에 대한 국소 설명의 강건성을 향상시킨다.
• 다양한 원천의 사전 지식(예: 다른 XAI 방법의 결과 또는 검증 및 검토(V&V) 기법)를 통합하여 설명의 정확도를 향상시킨다.
• 국소 서로서모델링에서 사전 지식과 경험적 데이터의 균형을 이루는 원칙적인 베이지안 프레임워크를 개발한다.
• 기능 순위 기반 XAI 방법에 대해 일관성과 강건성 평가에 적합한 일반적인 정량적 지표를 제공한다.

제안 방법

• 후행 추정치가 사전 지식과 데이터 기반 증거의 가중 조합이 되는 베이지안 선형 모델을 국소 서로서모델로 설정한다.
• 공액 사전을 사용하여 해석 가능한 후행 분포를 분석적으로 계산함으로써 계산 효율성과 해석 가능성 확보한다.
• 세 가지 원천에서 유도된 사전 파라미터를 통합한다: 유사 인스턴스의 설명, 다른 XAI 도구(예: SHAP, GradCAM)의 출력, V&V 기법.
• 베이지안 모델 선택을 적용하여 하이퍼파rameter(사전 지식 대비 데이터 증거의 영향)를 자동으로 튜닝한다.
• 국소성은 커널 가중 가능도를 통해 정의되며, 커널 파라미터는 튜닝하거나 도메인 지식에서 유도된 하이퍼파라미터로 간주된다.
• 후행 신뢰구간을 사용하여 불확실성 평가 및 설명 신뢰성 향상에 기여하며, 커널 선택에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 LIME의 베이지안 공식화가 동일 예측에 대한 반복 설명의 일관성 부족 문제를 줄일 수 있는가?
• RQ2 표준 LIME 대비 BayLIME는 커널 파라미터 설정에 대해 어느 정도 더 강건한가?
• RQ3 다양한 원천에서 유도된 사전 지식 통합이 최신 기술의 XAI 방법 대비 설명의 정확도에 어떤 영향을 미치는가?
• RQ4 일관성과 강건성에 대한 일반적인 지표가 기능 순위 기반 XAI 기법에 효과적으로 적용될 수 있는가?
• RQ5 사전 지식의 품질이 설명 신뢰성에 미치는 영향은 무엇이며, 베이지안 추론은 열악한 사전 지식으로 인한 위험을 어떻게 완화할 수 있는가?

주요 결과

• BayLIME는 반복 실행 시 설명의 일관성을 크게 향상시켜 기존 LIME 대비 기능 중요도 순위의 분산을 감소시켰다.
• BayLIME는 커널 파라미터 설정에 대해 더 강건한 성능을 보이며, 커널 대역폭이 변화하더라도 설명이 안정적으로 유지되었다.
• V&V 도구 및 다른 XAI 방법으로부터의 사전 지식 통합을 통해 BayLIME는 실증 평가에서 LIME, SHAP, GradCAM보다 더 높은 설명 정확도를 달성했다.
• 계산 효율성을 유지하여 변형 샘플 수에 대해 선형 시간 복잡도를 보이며, 중간 크기의 샘플 크기에서도 잘 스케일링된다.
• 일관성과 강건성에 대한 정량적 지표가 성공적으로 적용되었으며, 여러 벤치마크 데이터셋에서 BayLIME가 LIME 및 기타 기준 대비 뛰어난 성능을 보였다.
• 베이지안 불확실성 정량화 기법을 통해 신뢰할 수 있는 신뢰도 추정치를 제공함으로써, 헬스케어 및 자율 주행 시스템과 같은 고위험 응용 분야에서 신뢰를 구축하는 데 기여했다.