[논문 리뷰] Interpretable & Explorable Approximations of Black Box Models

Himabindu Lakkaraju, Ece Kamar외 2명|arXiv (Cornell University)|2017. 07. 04.

Explainable Artificial Intelligence (XAI)인용 수 29

한 줄 요약

이 논문은 블랙박스 분류기의 전역적이고 충실하며 해석 가능한 근사치를 동시에 생성하는 모델에 종속되지 않는 프레임워크인 BETA를 소개한다. 이는 충실도, 해석 가능성, 명확한 규칙 커버리지의 조합 최적화를 통해 달성된다. BETA는 기존의 비모노톤, 비정규 하위모듈러 최적화 기법을 활용하여 특성 공간의 서로 다른 비중복 영역에서 모델 행동을 설명하는 간결한 결정 집합을 학습한다. 또한 사용자 상호작용을 지원하여 실제 의사결정 환경에서 이해도와 효율성을 향상시킨다.

ABSTRACT

We propose Black Box Explanations through Transparent Approximations (BETA), a novel model agnostic framework for explaining the behavior of any black-box classifier by simultaneously optimizing for fidelity to the original model and interpretability of the explanation. To this end, we develop a novel objective function which allows us to learn (with optimality guarantees), a small number of compact decision sets each of which explains the behavior of the black box model in unambiguous, well-defined regions of feature space. Furthermore, our framework also is capable of accepting user input when generating these approximations, thus allowing users to interactively explore how the black-box model behaves in different subspaces that are of interest to the user. To the best of our knowledge, this is the first approach which can produce global explanations of the behavior of any given black box model through joint optimization of unambiguity, fidelity, and interpretability, while also allowing users to explore model behavior based on their preferences. Experimental evaluation with real-world datasets and user studies demonstrates that our approach can generate highly compact, easy-to-understand, yet accurate approximations of various kinds of predictive models compared to state-of-the-art baselines.

연구 동기 및 목표

• 원본 모델에 높은 충실도를 유지하면서도 해석 가능한 전역적 설명 프레임워크를 개발하는 것.
• 비중복 특성 공간 영역에서 충실도, 해석 가능성, 명확한 규칙 커버리지의 다중 최적화를 동시에 수행하는 것.
• 사용자가 지정한 특성 선호도 기반으로 모델 행동에 대한 상호작용 탐색을 가능하게 하는 것.
• 예측 정확도를 희생시키지 않은 채 기존 최고 수준의 기준 대비 설명의 복잡도를 감소시키는 것.
• 사용자가 BETA로 생성된 설명을 통해 모델 행동을 더 정확하고 신속하게 추론할 수 있는지 평가하는 것.

제안 방법

• 충실도(블랙박스 예측 일치), 해석 가능성(규칙 및 조건자 수 최소화)을 통합한 새로운 최적화 문제를 설정한다.
• 기저 제약 조건이 있는 비정규, 비단조화 하위모듈러 함수로 최적화 문제를 모델링하여 증명 가능한 근사 최적 해를 도출한다.
• NP-난이도 문제를 효율적으로 해결하기 위해 1/5 근사 보장을 갖춘 근사 국소 탐색 알고리즘을 적용한다.
• 특성 공간을 분할하고 클래스 레이블을 명확하게 할당하는 간결한 결정 집합(조건-결과 규칙)을 생성한다.
• 사용자가 관심 있는 특성을 지정할 수 있도록 허용하여 관련 하위공간에 집중된 설명을 동적으로 개선하는 상호작용 탐색을 지원한다.
• 사용자 피드백을 통합하여 주변성 특성 기술을 조정하여 사용자 질의와 관련된 특성을 우선순위로 지정한다.

실험 결과

연구 질문

• RQ1 전역적 설명 프레임워크가 블랙박스 모델 설명에서 충실도, 해석 가능성, 명확한 규칙 커버리지의 다중 최적화를 동시에 달성할 수 있는가?
• RQ2 BETA로 생성된 설명의 복잡도는 기존 최고 수준의 기준 대비 규칙 수와 조건자 수 측면에서 어떻게 비교되는가?
• RQ3 상호작용 탐색이 인간의 이해도 및 모델 행동 추론 속도에 어느 정도 향상시키는가?
• RQ4 기타 방법 대비 사용자가 BETA로 생성된 근사치를 통해 모델 행동을 더 정확하고 신속하게 추론할 수 있는가?
• RQ5 실제 데이터셋에서 BETA, LIME-DS, IDS, BDL 간의 충실도와 해석 가능성 간 상호보완적 트레이드오프는 어떻게 다를까?

주요 결과

• BETA는 평균적으로 각 규칙당 10개의 조건자만으로도 블랙박스 모델과 85%의 일치율을 달성했으며, 동일한 충실도를 확보하기 위해 다른 방법들은 최소 20개의 조건자가 필요했다.
• 단지 5개의 이웃 영역만으로도 BETA는 85%의 일치율을 확보했지만, LIME는 약 20개의 이웃 영역이 필요로 했다.
• 사용자 연구 결과, BETA는 인간의 정확도가 94.5%로 나타났고, 평균 응답 시간은 160.1초였으며, IDS(89.2% 정확도, 231.1초)와 BDL(83.7% 정확도, 368.5초)를 크게 앞섰다.
• 상호작용 탐색이 활성화된 경우 평균 응답 시간이 78.3초로 감소하여 비상호작용 설정 대비 약 50% 감소했다.
• BETA로 생성된 설명은 낮은 규칙 중복율(1–2%)과 높은 커버리지(95–98%)를 보이며, 규칙 분할의 정밀성과 종합성을 동시에 확보했다.
• BETA의 상호작용 버전은 인간의 정확도를 98.3%로 향상시켰고, 비상호작용 설정 대비 평균 응답 시간을 50% 이상 단축시켰다.