[논문 리뷰] From Formal Boosted Tree Explanations to Interpretable Rule Sets

Yu, Jinqiang, Alexey Ignatiev외 1명|arXiv (Cornell University)|2019. 07. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 47인용 수 33

한 줄 요약

이 논문은 제약 기반 추론을 사용하여 국소적으로 계산되는 히وري스틱 설명의 전역 정확성을 검증하고, 수정하며 개선하기 위해 논리 기반 프레임워크인 XPlainer을 제안한다. 이는 전역적으로 올바르고 최소한의 설명을 계산함으로써 XGBoost 트리에 대한 설명을 검증하고 수리한다. 연구 결과는 Anchor와 LIME 설명이 종종 전역적으로 잘못됨을 드러내며, 두 데이터셋에서 99% 이상의 경우에서 Anchor가 과도하게 낙관적인 경향을 보임을 확인한다. 이는 히وري스틱 설명의 전역 검증이 필수적임을 입증한다.

ABSTRACT

Recent years have witnessed a fast-growing interest in computing explanations for Machine Learning (ML) models predictions. For non-interpretable ML models, the most commonly used approaches for computing explanations are heuristic in nature. In contrast, recent work proposed rigorous approaches for computing explanations, which hold for a given ML model and prediction over the entire instance space. This paper extends earlier work to the case of boosted trees and assesses the quality of explanations obtained with state-of-the-art heuristic approaches. On most of the datasets considered, and for the vast majority of instances, the explanations obtained with heuristic approaches are shown to be inadequate when the entire instance space is (implicitly) considered.

연구 동기 및 목표

• 히وري스틱 기계학습 설명에 전역 보장이 부족한 문제를 해결하기 위해, 국소적으로 계산되며 전체 입력 공간에서 실패할 수 있는 설명의 전역 정확성을 확보한다.
• 추론 기반 추론을 사용하여 전역적으로 올바르고 최소한의 설명을 계산하기 위해 확장 가능한 제약 기반 인코딩을 개발한다.
• 검증, 수리(낙관적일 경우), 개선(비관적일 경우) 알고리즘을 설계하고 구현한다.
• 전역적으로 올바른 설명을 골드 표준으로 삼아 최신 히وري스틱 설명(LIME 및 Anchor)의 품질을 실증적으로 평가한다.

제안 방법

• XGBoost 트리를 위한 새로운 제약 기반 인코딩을 제안하여, 추론 기반 추론을 통해 전역 설명을 효율적으로 계산할 수 있도록 한다.
• SAT 기반 추론을 사용하여 부분집합 최소화 및 기수 최소화된 설명을 계산함으로써 전역 정확성과 최소성 보장을 한다.
• 논리적 일관성 검사와 입력 공간에서의 최소화를 활용하여 검증, 수리, 개선 알고리즘을 XPlainer 도구에 통합한다.
• 필요할 때만 추론을 수행하는 온디맨드 추론을 활용하여 전체 컴파일 방식보다 확장성을 향상시킨다.
• XGBoost 모델과 훈련된 입력 공간을 사용하여 히وري스틱 설명을 전역 설명의 기준으로 평가한다.
• 논리 기반 프레임워크를 활용하여 히وري스틱 설명 내에서 불필요한 리터럴(비관적)과 누락된 필수 리터럴(낙관적)을 탐지한다.

실험 결과

연구 질문

• RQ1 XGBoost 모델에 대해 전역적으로 올바르고 최소한의 설명을 기준으로 히وري스틱 설명(LIME 및 Anchor)의 정확도는 어느 정도인가?
• RQ2 히وري스틱 설명은 얼마나 낙관적인가(즉, 입력 공간의 대부분에서 적용되지 않는가) 또는 비관적인가(즉, 중복된 특징을 포함하는가)?
• RQ3 XPlainer와 같은 논리 기반 프레임워크는 부스팅 트리에 대한 히وري스틱 설명을 효과적으로 검증하고 수리하며 개선할 수 있는가?
• RQ4 히وري스틱 방법(LIME 및 Anchor)에 비해 전역적으로 올바른 설명을 계산하는 데 드는 계산 비용은 얼마인가?

주요 결과

• 두 데이터셋에서 Anchor는 99% 이상의 인스턴스에서 낙관적인 경향을 보이며, 이는 입력 공간의 99% 이상에서 설명이 전역적으로 적용되지 않음을 의미한다.
• 다른 두 데이터셋에서는 Anchor가 80% 이상의 인스턴스에서 낙관적이며, 이는 그 설명의 광범위한 전역 부정확성을 시사한다.
• LIME는 종종 Anchor보다 더 비관적인 편이지만, 낙관성 측면에서 어느 한 방법도 우세하지 않으며, 둘 다 심각한 전역 신뢰성 문제를 겪고 있음을 보여준다.
• XPlainer가 계산한 전역 설명은 부분집합 최소화 또는 기수 최소화되어 있으며, 이는 구성상 낙관적이거나 비관적이지 않음을 보장한다.
• XPlainer의 부분집합 최소화 설명 평균 크기는 전체 특성의 15–50%이며, 기수 최소화 설명은 이를 15–36%로 줄여 해석 가능성 향상에 기여한다.
• XPlainer의 런타임은 LIME 및 Anchor와 유사하며, 검증은 무시할 수 있을 정도로 짧고, 부분집합 최소화 모드에서는 기수 최소화 모드보다 수리/개선이 더 빠르다.