[논문 리뷰] Local Rule-Based Explanations of Black Box Decision Systems

Riccardo Guidotti, Anna Monreale외 4명|arXiv (Cornell University)|2018. 05. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 196

한 줄 요약

LORE는 유전 알고리즘으로 합성 이웃을 생성하고, 로컬 의사결정 트리를 학습한 뒤, 반사실 규칙을 포함한 의사결정 규칙을 추출하여 블랙박스 결정에 대한 로컬하고 해석 가능한 설명을 제공합니다.

ABSTRACT

The recent years have witnessed the rise of accurate but obscure decision systems which hide the logic of their internal decision processes to the users. The lack of explanations for the decisions of black box systems is a key ethical issue, and a limitation to the adoption of machine learning components in socially sensitive and safety-critical contexts. %Therefore, we need explanations that reveals the reasons why a predictor takes a certain decision. In this paper we focus on the problem of black box outcome explanation, i.e., explaining the reasons of the decision taken on a specific instance. We propose LORE, an agnostic method able to provide interpretable and faithful explanations. LORE first leans a local interpretable predictor on a synthetic neighborhood generated by a genetic algorithm. Then it derives from the logic of the local interpretable predictor a meaningful explanation consisting of: a decision rule, which explains the reasons of the decision; and a set of counterfactual rules, suggesting the changes in the instance's features that lead to a different outcome. Wide experiments show that LORE outperforms existing methods and baselines both in the quality of explanations and in the accuracy in mimicking the black box.

연구 동기 및 목표

• 불투명한 모델에서 주어진 인스턴스에 대해 특정 결정이 왜 내려졌는지 명확히 설명한다.
• 단순한 논리 규칙을 사용하여 의미 있고 인간이 이해할 수 있는 설명을 제공한다.
• 결과를 반전시키기 위한 최소한의 변경을 제시하는 반사실을 제공한다.
• 블랙박스 내부 구조에 의존하지 않는 모델-독립적 설명을 유지한다.

제안 방법

• 블랙박스의 결과를 유지하거나 반전시키는 Z_= 및 Z_\\neq를 생성하기 위하여 두 가지 적합도 함수를 가진 유전 알고리즘을 사용하여 대상 인스턴스 x 주위에 균형 잡힌 합성 이웃을 생성한다.
• 이웃 Z에서 로컬 해석 가능한 예측기 c(의사결정 트리)를 학습시켜 x 인근에서 블랙 박스의 동작을 모방한다.
• 결과를 설명하는 의사결정 규칙 r과 이를 역전시키기 위한 최소한의 반사실 규칙 집합 Φ로 구성된 로컬 설명 쌍 e = <r, Φ>를 추출한다.
• 로컬 트리에서 대안적 결과로 이어지는 경로를 식별하고 x에 대한 최소한의 변화를 선택하여 반사실을 도출한다.
• 거리 기반의 혼합형 특징 지표를 사용하여 이웃 생성을 안내하고 x와의 근접성을 보장한다.
• c와 일관되고 x에 의해 만족되는 해석 가능한 논리 규칙의 형태로 설명을 제공한다.

실험 결과

연구 질문

• RQ1 LORE가 블랙박스 예측기에서 특정 인스턴스에 대한 결정을 얼마나 효과적으로 설명할 수 있는가?
• RQ2 로컬에 학습된 의사결정 트리가 인스턴스의 이웃에서 블랙박스를 정확하게 모방하는가?
• RQ3 생성된 설명(규칙 및 반사실)이 사용자에게 정보적이고 실행 가능한가?
• RQ4 설명 품질과 모방 정확도 측면에서 LORE가 기존 설명 방법과 어떻게 비교되는가?

주요 결과

• LORE는 설명의 품질과 블랙박스 모방 정확도에서 기존 방법 및 벤치마크를 능가한다.
• 이 방법은 의사결정 경계에 근접하도록 밀도가 높은 이웃을 생성하기 위해 유전 알고리즘을 사용하여 로컬 설명을 향상시킨다.
• 로컬 설명은 로컬 예측기와 일치하는 규칙 한 개와 최소한의 반사실 규칙 집합으로 구성된다.
• 반사실은 로컬 의사결정 트리의 경로에서 도출되며 특징 변화 측면에서 최소가 되도록 설계된다.
• 이 방법은 기저의 블랙박스 모델에 의존하지 않으며 관계형 및 표 형식 데이터에 적용 가능하다.