[논문 리뷰] Interpretable and Explorable Approximations of Black Box Models

Himabindu Lakkaraju, Ece Kamar외 2명|arXiv (Cornell University)|2017. 01. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 4인용 수 118

한 줄 요약

BETA는 블랙박스 분류기의 글로벌, 해석 가능하고 충실한 근사치를 동시에 확보하기 위해 충실도, 해석 가능성, 모호함이 없는 정도를 동시에 최적화하는 새로운 목적 함수를 통해 모델에 종속되지 않는 프레임워크이다. 이는 사용자가 선호하는 부분공간에서 모델 행동을 상호작용적으로 탐색할 수 있도록 하여 실세계 데이터셋에서 압축성, 정확도, 이해 가능성 면에서 최신 기술들을 능가한다.

ABSTRACT

We propose Black Box Explanations through Transparent Approximations (BETA), a novel model agnostic framework for explaining the behavior of any black-box classifier by simultaneously optimizing for fidelity to the original model and interpretability of the explanation. To this end, we develop a novel objective function which allows us to learn (with optimality guarantees), a small number of compact decision sets each of which explains the behavior of the black box model in unambiguous, well-defined regions of feature space. Furthermore, our framework also is capable of accepting user input when generating these approximations, thus allowing users to interactively explore how the black-box model behaves in different subspaces that are of interest to the user. To the best of our knowledge, this is the first approach which can produce global explanations of the behavior of any given black box model through joint optimization of unambiguity, fidelity, and interpretability, while also allowing users to explore model behavior based on their preferences. Experimental evaluation with real-world datasets and user studies demonstrates that our approach can generate highly compact, easy-to-understand, yet accurate approximations of various kinds of predictive models compared to state-of-the-art baselines.

연구 동기 및 목표

• 블랙박스 분류기의 글로벌, 해석 가능하고 충실한 설명이면서도 압축성과 모호함이 없는 것을 해결하기 위해.
• 사용자가 특징 공간의 사용자 정의 부분공간에서 모델 행동을 상호작용적으로 탐색할 수 있도록 하기 위해.
• 원본 모델에 대한 충실도, 설명의 해석 가능성, 결정 영역의 모호함이 없는 정도를 동시에 최적화하기 위해.
• 모델 아키텍처 수정 없이도 어떤 블랙박스 모델에도 적용 가능한 프레임워크를 제공하기 위해.
• 사람이 이해할 수 있고 원본 모델 행동을 높은 정확도로 반영하는 설명을 제공하기 위해.

제안 방법

• 블랙박스 모델에 대한 충실도, 설명의 해석 가능성, 결정 영역의 모호함이 없는 정도를 균형 잡는 새로운 목적 함수를 도입한다.
• 전체 특징 공간에서 블랙박스 모델 행동을 근사하는 데 사용할 수 있는 작고 압축된 결정 집합의 집합을 학습한다.
• 최적성 보장을 갖춘 최적화를 통해 학습된 근사치가 정확하고 해석 가능하도록 보장한다.
• 근사치 생성 과정에서 사용자 입력을 통합하여 특정 관심 부분공간에서의 탐색을 유도한다.
• 투명하고 모듈식 구조를 채택하여 근사 결정 집합의 효율적 훈련 및 추론을 가능하게 한다.
• 모델에 종속되지 않는 배포를 지원하여 아키텍처에 관계없이 사전 훈련된 분류기 어디에나 적용 가능하다.

실험 결과

연구 질문

• RQ1 글로벌 설명 프레임워크가 블랙박스 모델 설명에서 충실도, 해석 가능성, 모호함이 없는 정도를 동시에 최적화할 수 있는가?
• RQ2 이 프레임워크는 복잡한 블랙박스 모델을 충실하게 반영하는 압축성 있고 인간이 이해할 수 있는 결정 집합을 얼마나 잘 생성할 수 있는가?
• RQ3 사용자 중심 탐색은 설명의 관련성과 해석 가능성에 얼마나 기여하는가?
• RQ4 설명 품질, 압축성, 정확도 측면에서 최신 기술들과 비교해 이 프레임워크는 어떠한가?
• RQ5 기본 기반 방법에 비해 설명의 복잡성을 크게 줄였을 때도 이 프레임워크는 높은 충실도를 유지할 수 있는가?

주요 결과

• BETA는 최신 기술 기반의 기준보다 훨씬 더 압축된 설명을 생성하면서도 원본 블랙박스 모델에 대한 높은 충실도를 유지한다.
• 사용자 연구에서 이 프레임워크가 생성한 설명은 해석 가능성과 이해 용이성 면에서 항상 더 높은 평가를 받았다.
• 사용자 중심 탐색은 관심 있는 부분공간에서 모델 행동을 타겟팅 분석할 수 있도록 하여 실용적 사용성을 향상시켰다.
• 최적화 과정은 최적성 보장을 제공하여 이론적 타당성과 신뢰성을 확보했다.
• 실세계 데이터셋에 대한 실증적 평가 결과, BETA는 정확도 및 해석 가능성 지표에서 기존 방법들을 능가함을 확인했다.
• 프레임워크는 모델 특화 적응 없이 다양한 블랙박스 모델에 대해 성공적으로 일반화되었다.