[논문 리뷰] Explaining Naive Bayes and Other Linear Classifiers with Polynomial Time and Delay

João Marques‐Silva, Thomas Gerspacher외 3명|arXiv (Cornell University)|2020. 08. 13.

Explainable Artificial Intelligence (XAI)참고 문헌 25인용 수 26

한 줄 요약

이 논문은 선형 분류기, 특히 나이브 베이즈 분류기(NBCs)의 최소 PI-설명(하위집합 최소화된 충분한 특성-값 조합)을 계산하기 위한 로그-선형 시간 알고리즘과, 모든 PI-설명을 열거하기 위한 다항식 지연 알고리즘을 제안한다. 주요 기여는 선형 분류기의 PI-설명 계산이 P에 속한다는 것을 증명함으로써, 열려 있는 문제를 해결하고 형식적 보장을 갖춘 효율적이고 정확한 설명을 가능하게 한다.

ABSTRACT

Recent work proposed the computation of so-called PI-explanations of Naive Bayes Classifiers (NBCs). PI-explanations are subset-minimal sets of feature-value pairs that are sufficient for the prediction, and have been computed with state-of-the-art exact algorithms that are worst-case exponential in time and space. In contrast, we show that the computation of one PI-explanation for an NBC can be achieved in log-linear time, and that the same result also applies to the more general class of linear classifiers. Furthermore, we show that the enumeration of PI-explanations can be obtained with polynomial delay. Experimental results demonstrate the performance gains of the new algorithms when compared with earlier work. The experimental results also investigate ways to measure the quality of heuristic explanations

연구 동기 및 목표

• 이전에 최악의 경우 지수 시간과 공간이 필요로 했던 선형 분류기에서의 PI-설명 계산을 위한 효율적이고 정확한 알고리즘이 부족한 문제를 해결하기 위해.
• 예측에 대해 하위집합 최소화된 충분한 특성-값 조합(PI-설명)을 계산하여 설명 품질에 대한 형식적 보장을 제공하기 위해.
• 선형 분류기, 특히 NBCs에 대해 PI-설명 계산이 P에 속한다는 것을 보여줌으로써 정확한 설명의 실용적 구현을 가능하게 하기 위해.
• 모든 PI-설명을 열거하기 위한 다항식 지연 알고리즘을 개발하여 특성의 중요도에 대한 포괄적인 분석을 지원하기 위해.
• 보편적인 PI-설명 열거를 골드 표준으로 삼아 히وري스틱 설명 방법(예: Anchor, SHAP)을 평가하고 벤치마크하기 위해.

제안 방법

• 실수형 및 범주형 특성을 모두 일반화하는 확장된 선형 분류기(XLC) 모델을 제안하여 선형 분류기의 통합 처리를 가능하게 한다.
• 결정 함수의 선형 구조와 효율적 제약 전파를 활용하여 최소 PI-설명을 계산하기 위한 로그-선형 시간 알고리즘을 설계한다.
• 해결 공간을 체계적으로 탐색하고 압축 표현 및 가지치기 전략을 사용하여 모든 PI-설명을 열거하기 위한 다항식 지연 알고리즘을 개발한다.
• 결정 함수를 효율적인 질의 처리가 가능한 논리적 형태로 변환하기 위해 SDD(문장적 결정 다이어그램) 컴파일을 사용한다.
• 히وري스틱 설명의 품질을 평가하기 위해, 보편적인 PI-설명 열거에서 가장 자주 나타나는 특성과의 겹침을 측정하는 '히트' 지표를 도입한다.
• 실제 데이터셋을 대상으로 제안된 XPXLC 알고리즘을 기존 도구들(예: STEP, Anchor, SHAP)과 구현 및 비교하여 시간, 확장성, 설명 품질을 측정한다.

실험 결과

연구 질문

• RQ1 선형 분류기의 PI-설명 계산이 다항식 시간 내에 수행될 수 있는가? 이는 그 계산 복잡도에 대한 열려 있는 문제를 해결한다.
• RQ2 모든 PI-설명의 열거가 다항식 지연을 통해 수행될 수 있는가? 이는 확장 가능하고 완전한 설명 탐색을 가능하게 한다.
• RQ3 Anchor 및 SHAP과 같은 히وري스틱 설명 방법의 품질은 보편적인 PI-설명 열거와 비교해 볼 때 어떻게 되는가? 후자가 평가의 골드 표준으로서 기능할 수 있는가?
• RQ4 제안된 로그-선형 알고리즘이 기존의 정확한 알고리즘에 비해 성능 향상은 어느 정도 이루어지는가?
• RQ5 히وري스틱 설명이 보편적인 열거를 통해 도출된 가장 일반적이고 영향력 있는 특성-값 쌍과 얼마나 일치하는가?

주요 결과

• 모든 선형 분류기, 특히 나이브 베이즈 분류기(NBC)에 대해 최소 PI-설명 계산이 로그-선형 시간 내에 수행될 수 있으며, 이는 문제의 복잡도가 P에 속한다는 것을 증명한다.
• 선형 분류기의 모든 PI-설명 열거는 다항식 지연을 통해 수행될 수 있으며, 이는 확장 가능하고 완전한 설명 탐색을 가능하게 한다.
• 제안된 XPXLC 알고리즘은 이전의 정확한 도구들보다 뚜렷이 빠르며, 단일 설명을 계산하는 데 10 마이크로초 미만이 소요되며, Anchor는 평균 1.55초, SHAP는 99.58초가 소요된다.
• SDD 컴파일 시간을 무시하더라도, STEP의 열거 단계는 XPXLC보다 4배에서 20배 느리며, 이는 신규 알고리즘의 효율성을 입증한다.
• '히트' 지표는 히وري스틱 설명(Anchor, SHAP)에 포함된 특성들이 보편적인 열거에서 가장 자주 나타나는 특성들과 강한 상관관계를 보이며, PI-설명이 벤치마크로 사용될 수 있음을 검증한다.
• 2,000개 이상의 인스턴스에서 Anchor는 가장 일반적인 특성과의 겹침이 전혀 없는 설명을 생성했으며, 이는 일부 경우에서 신뢰성 부족과 신뢰성 없는 설명의 가능성을 시사한다.