[논문 리뷰] On Computing Relevant Features for Explaining NBCs

Yacine Izza, João Marques‐Silva|arXiv (Cornell University)|2022. 07. 11.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 나이브 베이즈 분류기(Naive Bayes Classifiers, NBCs)에 대한 개괄적이고 정확한 확률적 추론 설명(이하 ApproxPAXp)을 계산하기 위해 의사다항식 동적 프로그래밍 알고리즘을 제안한다. 이는 설명 크기의 급격한 감소를 위해 최소한의 정밀도 손실을 감수한다. 실험 결과, ApproxPAXp 설명은 엄밀한 AXp 설명보다 일관되게 짧으며, 종종 크기를 반으로 줄이고도 높은 정밀도(예: >95%)를 유지하며, 큰 데이터셋에서도 2초 이내에 실행된다.

ABSTRACT

Despite the progress observed with model-agnostic explainable AI (XAI), it is the case that model-agnostic XAI can produce incorrect explanations. One alternative are the so-called formal approaches to XAI, that include PI-explanations. Unfortunately, PI-explanations also exhibit important drawbacks, the most visible of which is arguably their size. The computation of relevant features serves to trade off probabilistic precision for the number of features in an explanation. However, even for very simple classifiers, the complexity of computing sets of relevant features is prohibitive. This paper investigates the computation of relevant sets for Naive Bayes Classifiers (NBCs), and shows that, in practice, these are easy to compute. Furthermore, the experiments confirm that succinct sets of relevant features can be obtained with NBCs.

연구 동기 및 목표

• 높은 위험을 수반하는 AI 응용 분야에서 특히 중요한 공식적이고 엄밀한 XAI 접근 방식의 주요 한계인 큰 설명 크기 문제를 해결한다.
• NBCs에서 철저한 추론 설명(AXp) 계산이 비현실적이므로, 확장 가능한 근사 방법을 도입하여 이를 극복한다.
• 사람의 의사결정에 적합한 설명의 간결성과 강력한 확률적 정밀도 보장 간의 균형을 이루는 방법을 개발한다.
• 이론적 복잡도에도 불구하고, 나이브 베이즈 분류기(NBCs)에 대해 근사적 확률적 설명(Ap-proxPAXp)을 효율적이고 효과적으로 계산할 수 있음을 입증한다.
• 인지적 한계(예: 밀러의 7±2 법칙)를 고려하면서도 정밀도를 희생시키지 않는 짧고 신뢰할 수 있는 설명을 생성하는 실용적 해결책을 제공한다.

제안 방법

• NBCs에 대한 확률적 추론 설명(AXp) 계산 문제를 제한된 정수계획법 제약 조건의 수를 세는 모델로 수리적으로 정의한다.
• 특성 할당이 주어진 클래스를 예측하는 경우의 수를 계산할 수 있도록 하는 동적 프로그래밍 기반 알고리즘을 제안한다.
• ApproxPAXp를 히우리스틱 근사로 도입하여, 설명이 어떤 엄밀한 AXp보다 크지 않고, 어떤 확률적 AXp보다 작지 않도록 보장한다.
• 임계값 기반의 가지치기 전략을 사용하여 간결하면서도 증명 가능한 정밀도를 보장하는 설명을 생성하며, 최소 정밀도(δ)에 대한 보장을 제공한다.
• SMT 유사 추론과 동적 프로그래밍 테이블을 활용한 프로토타입을 구현하여 대규모 데이터셋에서도 효율성과 확장성을 확보한다.
• 정밀도, 크기, 실행 시간의 상호 보완적 특성 평가를 위해 다양한 벤치마크 데이터셋에서 δ와 목표 크기를 변화시키며 알고리즘을 평가한다.

실험 결과

연구 질문

• RQ1 나이브 베이즈 분류기(NBCs)에 대해 근사적 확률적 추론 설명(Ap-proxPAXp)을 강력한 확률적 보장 조건을 유지하면서 효율적으로 계산할 수 있는가?
• RQ2 ApproxPAXp는 정밀도 손실이 크지 않은 범위에서 엄밀한 AXp 설명 대비 얼마나 큰 설명 크기 감소를 이룰 수 있는가?
• RQ3 실제 세계 데이터셋에서 제안된 동적 프로그래밍 접근 방식은 실행 시간과 메모리 사용 측면에서 실제로 얼마나 확장 가능한가?
• RQ4 다양한 데이터셋과 임계값(δ)에서 설명 길이와 정밀도 사이의 경험적 상호 보완적 특성은 어떠한가?
• RQ5 알고리즘이 인간 사용자의 인지 능력(예: 7±2개의 특성)을 고려하여 높은 정밀도를 유지하면서도 설명을 생성할 수 있는가?

주요 결과

• ApproxPAXp 설명은 엄밀한 AXp 설명보다 항상 짧다. 예를 들어, 타겟 크기가 7일 때 agaricus와 mushroom 데이터셋에서 평균적으로 2배 이상 짧다.
• 타겟 크기가 ≤7일 경우, 모든 데이터셋에서 평균 설명 길이가 5.3~5.1로, 인간의 인지 한계인 7±2 범위 내에 잘 맞는다.
• ApproxPAXp 설명의 평균 정밀도는 임계값 δ를 상당한 폭으로 초월한다: adult, vote, threeOf9, xd6, mamo, tumor의 경우 >97%; chess와 kr-vs-kp의 경우 >95%.
• 실제로 실행 시간은 무시할 만할 정도로 짧다: 모든 인스턴스 평균 0.33초이며, 가장 큰 데이터셋(agaricus, mushroom)에서도 최대 2초 이내이다.
• 더 높은 정밀도 임계값(δ = 0.98)에서도 알고리즘이 확장 가능하며, 타겟 크기가 7일 때 agaricus의 평균 실행 시간은 7.22초이다.
• 타겟 크기가 ≤4일 경우, 대부분의 데이터셋에서 크기가 ≤4인 설명을 생성하는 인스턴스 비율이 높다(96~100%), 이는 강력한 실용적 타당성을 시사한다.