[논문 리뷰] Provably Precise, Succinct and Efficient Explanations for Decision Trees

Yacine Izza, Alexey Ignatiev외 3명|arXiv (Cornell University)|2022. 05. 19.

Explainable Artificial Intelligence (XAI)인용 수 8

한 줄 요약

이 논문은 δ-관련 집합을 사용하여 의사결정나무의 압축되고 증명 가능한 정밀도를 갖는 설명을 계산하는 새로운 접근법을 제안한다. 이는 약간의 정밀도 손실을 감수하면서도 크기를 크게 줄이는 근사 설명이다. 두 가지 SMT 인코딩과 다항시간 알고리즘을 도입하여 실제로는 거의 최소 크기의 설명을 얻을 수 있으며, 런타임이 극히 짧다. 이는 Anchor와 같은 모델에 종속되지 않은 방법보다 정밀도와 효율성 면에서 뛰어나다.

ABSTRACT

Decision trees (DTs) embody interpretable classifiers. DTs have been advocated for deployment in high-risk applications, but also for explaining other complex classifiers. Nevertheless, recent work has demonstrated that predictions in DTs ought to be explained with rigorous approaches. Although rigorous explanations can be computed in polynomial time for DTs, their size may be beyond the cognitive limits of human decision makers. This paper investigates the computation of δ-relevant sets for DTs. δ-relevant sets denote explanations that are succinct and provably precise. These sets represent generalizations of rigorous explanations, which are precise with probability one, and so they enable trading off explanation size for precision. The paper proposes two logic encodings for computing smallest δ-relevant sets for DTs. The paper further devises a polynomial-time algorithm for computing δ-relevant sets which are not guaranteed to be subset-minimal, but for which the experiments show to be most often subset-minimal in practice. The experimental results also demonstrate the practical efficiency of computing smallest δ-relevant sets.

연구 동기 및 목표

• 의사결정나무에서 장기적인 결정 경로로 인해 인간의 이해 능력을 초월할 수 있는 인지적 과부하 문제를 해결하기 위해.
• 크기의 현저한 감소를 위해 최소한의 정밀도 손실을 감수하면서도 간결하고 증명 가능한 정밀도를 갖는 설명을 계산적으로 효율적으로 생성하는 방법을 개발하기 위해.
• 일반 모델에서 근사 설명의 높은 계산 복잡도를 해결하기 위해 의사결정나무의 특별한 경우에서의 처리 가능성(tractability)을 보여주기 위해.
• 제안된 방법이 실제로 정밀도와 크기 면에서 최소 크기의 부분집합을 갖는 설명을 생성함을 경험적으로 검증하기 위해.
• 인간이 이해하기에 너무 큰 크기의 엄격한 추론 설명에 대한 확장 가능한 대안을 제공하기 위해.

제안 방법

• δ-관련 집합을 엄밀한 설명의 일반화로 제안하여, 신뢰도 임계값 δ를 통해 설명 크기와 정밀도 사이의 트레이드오프를 가능하게 한다.
• 의사결정나무에서 가장 작은 δ-관련 집합(WeakPAXp)을 계산하기 위해 비선형 및 선형 산술을 사용한 두 가지 SMT 인코딩을 개발한다.
• 최소 δ-관련 집합의 초과 근사치를 계산하는 다항시간 알고리즘(ApproxPAXp)을 도입하며, 실제로 부분집합 최소화됨을 입증한다.
• NP 오라클을 사용한 반복적 정밀화를 통해 최소 δ-관련 집합을 계산하며, 호출 횟수를 로그 단위로 감소시킨다.
• 특성 제약 조건과 경로 일관성을 표현하기 위해 논리 기반 프레임워크를 활용하여 효율적인 SAT/SMT 해결을 가능하게 한다.
• SMT 해결을 통한 방법 검증 및 최첨단 모델에 종속되지 않은 설명기법인 Anchor와의 결과 비교를 수행한다.

실험 결과

연구 질문

• RQ1 일반 모델에서 높은 복잡도를 보이지만 의사결정나무에서는 δ-관련 집합을 효율적으로 계산할 수 있는가?
• RQ2 크기와 정밀도를 보장하면서도 정밀도 하한이 보장되는 압축되고 증명 가능한 설명을 계산할 수 있는가?
• RQ3 δ-관련 집합에 대한 다항시간 알고리즘이 실제로 부분집합 최소화된 설명을 생성하는가?
• RQ4 Anchor와 같은 모델에 종속되지 않은 설명기법과 비교했을 때, 제안된 방법은 크기, 정밀도, 런타임 면에서 어떻게 다른가?
• RQ5 SMT 인코딩은 대규모 의사결정나무에서도 효율성과 정확도를 유지하면서 확장 가능한가?

주요 결과

• 제안된 SMT 인코딩은 효과적으로 확장되며, 대규모 의사결정나무에서 평균 런타임이 20초 이내이며, ApproxPAXp 알고리즘은 0.01초 이내로 실행된다.
• ApproxPAXp 설명은 실제로 부분집합 최소화되며, dermatology, soybean, texture 데이터셋에서 모든 δ 값에서 98% 이상의 정밀도를 기록한다.
• Spambase 데이터셋에서는 설명 크기를 10개의 특성에서 5개로 줄였으며, 정밀도는 0.95 이상을 유지하여 효과적인 압축을 입증한다.
• 결과적으로 평균 크기 7±2의 설명을 생성하여 밀러의 법칙에 따르면 인간의 인지 한계인 7±2개 항목 이내에 잘 맞는다.
• Anchor는 일관된 경로와의 겹침이 20% 미만이었으며, 상당히 느리게 작동한다.
• 결과적으로 모델에 종속되지 않은 설명기법인 Anchor는 정밀도 보장을 하지 못하고 압축성도 확보하지 못하는 반면, 제안된 논리 기반 접근법은 이 두 가지를 모두 충족함을 확인한다.