[논문 리뷰] Local Interpretable Model-agnostic Explanations of Bayesian Predictive Models via Kullback-Leibler Projections

Tomi Peltola|arXiv (Cornell University)|2018. 10. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 30

한 줄 요약

이 논문은 Kullback-Leibler 발산을 최소화하여 원본 모델의 예측 분포와 간단하고 해석 가능한 설명 모델(예: 흐린 선형 모델) 간의 분포 간의 발산을 최소화함으로써 베이지안 예측 모델에 대한 국소적이고 해석 가능한 설명을 생성하는 KL-LIME 방법을 제안한다. 이는 불확실성 정량화를 유지한다. 이 방법은 복잡한 모델(예: 베이지안 딥 네ural 네트워크)에 대해 충실도 있고 불확실성 인식이 가능한 국소적 설명을 가능하게 하며, MNIST 숫자 분류에서 개선된 해석 가능성과 충실도의 상호 보완적 조건을 입증한다.

ABSTRACT

We introduce a method, KL-LIME, for explaining predictions of Bayesian predictive models by projecting the information in the predictive distribution locally to a simpler, interpretable explanation model. The proposed approach combines the recent Local Interpretable Model-agnostic Explanations (LIME) method with ideas from Bayesian projection predictive variable selection methods. The information theoretic basis helps in navigating the trade-off between explanation fidelity and complexity. We demonstrate the method in explaining MNIST digit classifications made by a Bayesian deep convolutional neural network.

연구 동기 및 목표

• 복잡한 베이지안 예측 모델을 해석하기 위한 도전 과제를 해결하기 위해 국소적이고 인간이 이해할 수 있는 설명을 제공하는 것.
• 예측 불확실성을 설명에 통합함으로써 LIME 프레임워크를 베이지안 모델로 확장하는 것.
• 정보 이론 원리를 활용하여 다양한 예측 유형(예: 연속형, 범주형, 케이서드 데이터 등)에 대해 모델에 종속되지 않는 해석을 가능하게 하는 것.
• 원리적인 KL 발산 최소화와 투영 예측 변수 선택을 통해 설명의 충실도와 복잡성의 균형을 이루는 것.
• 베이지안 딥 러닝 모델(예: MNIST에서의 베이지안 컨volution 네럴 네트워크)에 대한 본 방법의 효과성을 입증하는 것.

제안 방법

• KL-LIME는 원본 모델의 예측 분포를 Kullback-Leibler 발산을 최소화하는 방식으로 더 단순하고 해석 가능한 설명 모델(예: 흐린 선형 모델)에 투영한다.
• 입력 데이터를 변형함으로써 국소성 분포를 정의하고(예: 이미지에서 픽셀을 무작위로 마스킹), 관심 있는 입력 포인트와 유사도에 따라 샘플을 가중치를 부여한다.
• 원본 모델의 예측과 변형된 샘플에서의 설명 모델의 예측 간 가중 L2 손실을 최소화하는 최적화를 통해 설명 모델을 피팅한다.
• 모델 불확실성을 고려하여 가장 관련성이 높은 특징을 식별하기 위해 베이지안 투영 예측 변수 선택을 통합한다.
• 설명 모델의 사후 표본을 사용하여 설명의 불확실성을 시각화함으로써 점 추정치보다 richer한 해석을 제공한다.
• 상대적 설명력 곡선을 사용하여 설명의 충실도와 복잡성 간의 상호 보완적 조건을 평가하고 최적의 설명 희박성 선택을 안내한다.

실험 결과

연구 질문

• RQ1 에피스테믹 및 알레아토릭 불확실성을 유지하면서, 베이지안 예측 모델에 대해 국소적이고 해석 가능한 설명을 어떻게 생성할 수 있는가?
• RQ2 KL 발산 최소화가 복잡한 베이지안 모델(예: 딥 네URAL 네트워크)의 설명의 충실도와 해석 가능성에 얼마나 기여하는가?
• RQ3 설명에 불확실성을 통합할 경우, 실제 응용에서 모델 해석의 신뢰성과 신뢰도는 어떻게 영향을 받는가?
• RQ4 제안된 방법은 다양한 예측 유형(예: 분류, 회귀, 케이서드 데이터 등)에 대해 모델에 종속되지 않게 적용 가능한가?
• RQ5 설명의 복잡성과 충실도 사이의 최적의 상호 보완적 조건은 무엇이며, 이를 정량적으로 평가할 수 있는가?

주요 결과

• KL-LIME는 MNIST에서의 베이지안 딥 컨볼루션 네럴 네트워크에 대해 불확실성 정량화를 통해 드롭아웃 기반 베이지안 근사법을 사용하여 99.2%의 테스트 정확도를 달성하면서 국소적이고 해석 가능한 설명을 성공적으로 생성하였다.
• 상대적 설명력 곡선은 약 0.85에서 수평선을 이루었으며, 이는 선택된 설명 모델로는 완벽한 충실도를 달성할 수 없음을 나타내며, 복잡성과 정확도 사이의 자연스러운 상호 보완적 조건을 강조한다.
• 평균 설명은 숫자 '8'의 상단 루프의 왼쪽 측면이 '8'로 분류하는 데 가장 기여하는 것으로 드러났으며, 오른쪽 측면은 '3'으로 잘못 분류되는 데 관련이 있었다.
• 설명의 분산은 상단 루프의 왼쪽 측면에서 가장 높았으며, 이는 해당 영역에서 특징 중요도에 대한 불확실성이 더 크다는 것을 반영한다.
• 설명 모델의 사후 표본은 여러 번의 추출에서 일관된 패턴을 보였으며, 이는 방법의 강건성을 확인하고 모델 불확실성에 대한 이해를 깊이 있게 제공한다.
• 이상적인 설명(예: 많은 활성 픽셀이 있는)은 이미지 작업에서는 여전히 해석 가능하지만, 비시각적 도메인(예: 텍스트 또는 의료 데이터)에서는 충실도와 복잡성의 상호 보완적 조건이 더욱 중요해진다.