[논문 리뷰] On Explaining Decision Trees

Yacine Izza, Alexey Ignatiev외 1명|arXiv (Cornell University)|2020. 10. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 70인용 수 44

한 줄 요약

논문은 결정 트리가 PI-설명(부분 최소 특성-값 집합)보다 해석 가능성이 낮을 수 있음을 보여주고, 단일 PI-설명을 계산하는 다항 시간 방법과 DT에 대해 PI-설명을 열거하기 위한 히팅-세트 접근법을 제공합니다; 실험은 많은 DT 경로가 설명-중복적임을 밝힙니다.

ABSTRACT

Decision trees (DTs) epitomize what have become to be known as interpretable machine learning (ML) models. This is informally motivated by paths in DTs being often much smaller than the total number of features. This paper shows that in some settings DTs can hardly be deemed interpretable, with paths in a DT being arbitrarily larger than a PI-explanation, i.e. a subset-minimal set of feature values that entails the prediction. As a result, the paper proposes a novel model for computing PI-explanations of DTs, which enables computing one PI-explanation in polynomial time. Moreover, it is shown that enumeration of PI-explanations can be reduced to the enumeration of minimal hitting sets. Experimental results were obtained on a wide range of publicly available datasets with well-known DT-learning tools, and confirm that in most cases DTs have paths that are proper supersets of PI-explanations.

연구 동기 및 목표

• 일부 결정 트리에서 설명 중복 경로가 최소 PI-설명보다 큰 경우가 있음을 입증합니다.
• 주어진 DT 인스턴스에 대해 단일 PI-설명을 다항 시간으로 계산하는 방법을 도입합니다.
• 최소 히팅 세트(MHS)를 통한 DT의 PI-설명 열거를 공식화합니다.
• DT 학습 도구에 대한 실증 근거를 제공하여 DT 경로가 종종 최소 설명보다 확장될 수 있음을 보여줍니다.

제안 방법

• PI-설명을 예측을 암시하는 서브셋 최소 문자(리터럴)로 정의합니다.
• 주어진 DT 인스턴스에 대해 하나의 PI-설명을 계산하는 다항 시간 알고리즘을 제안합니다.
• PI-설명 열거를 최소 히팅 세트 열거로 환원하고 반복적인 NP 오라클 호출(SAT/ILP 등)을 통해 풉니다.
• 예측을 보존하면서 리터럴을 제거해도 되는지 검사하여 경로의 설명-중복 여부를 결정하는 선형 시간 알고리즘을 개발합니다.
• 경로-제한형 vs 경로-제한아닌 PI-설명을 구분합니다.
• 중복 분석을 위한 알고리즘(Algorithm 1 및 Algorithm 2)과 PI-설명 열거를 위한 Subsets 히팅 세트를 통한 Algorithm 3 유사 접근법을 제시합니다.

실험 결과

연구 질문

• RQ1 결정 트리 경로가 최소 PI-설명에 비해 중복되는 설명을 제공하는가?
• RQ2 DT에 대해 단일 PI-설명을 효율적으로(다항 시간으로) 계산하고 히팅 세트를 통해 모든 PI-설명을 열거할 수 있는가?
• RQ3 공개 데이터셋에서 DT 경로가 예측을 포함하는 데 필요한 문자 수보다 더 많이 포함하는 경우가 얼마나 되는가?
• RQ4 경로-제한형 대 경로-제한아닌 PI-설명의 실질적 차이가 실험에서 어떤 영향을 미치는가?

주요 결과

• 비불리언 함수 중 irreducible DT가 PI-설명의 부분집합이 되는 경로를 포함하는 경우가 존재하며, 특징(feature)의 수가 늘어날수록 차이가 커진다.
• 실험 결과 많은 학습된 DT에서 설명-중복 경로가 존재하며, 종종 주어진 예측에 대해 일정한 크기의 PI-설명으로 충분하다.
• 주어진 DT 경로로부터 단일 PI-설명을 계산하는 다항 시간 알고리즘이 있다.
• PI-설명 열거는 최소 히팅 세트 열거로 환원될 수 있으며, 반복적인 NP 오라클 호출 기반의 해결책을 제안한다.
• 실험적으로 설명-중복은 데이터셋과 DT 학습 도구(IAI 및 ITI) 전반에서 만연하며 PI-설명을 추출하는 데 합리적인 실행 시간을 보인다.