[논문 리뷰] Explanations for Monotonic Classifiers

João Marques‐Silva, Thomas Gerspacher외 3명|arXiv (Cornell University)|2021. 06. 01.

Machine Learning and Data ClassificationComputer Science인용 수 20

한 줄 요약

이 논문은 단조성 분류기의 공식 PI-설명과 대조적 설명을 계산하기 위한 다항시간, 모델 독립적 알고리즘을 제안한다. 단조성을 활용하여 정확성과 효율성을 보장한다. 이 방법은 Anchor와 같은 히우리스틱 방법에 비해 뚜렷한 속도 향상을 보이며, SAT 기반의 열거를 통해 모든 설명을 나열할 때조차도 거의 없는 오버헤드를 유발한다.

ABSTRACT

In many classification tasks there is a requirement of monotonicity. Concretely, if all else remains constant, increasing (resp. decreasing) the value of one or more features must not decrease (resp. increase) the value of the prediction. Despite comprehensive efforts on learning monotonic classifiers, dedicated approaches for explaining monotonic classifiers are scarce and classifier-specific. This paper describes novel algorithms for the computation of one formal explanation of a (black-box) monotonic classifier. These novel algorithms are polynomial in the run time complexity of the classifier and the number of features. Furthermore, the paper presents a practically efficient model-agnostic algorithm for enumerating formal explanations.

연구 동기 및 목표

• 높은 위험도의 응용 분야에서 널리 사용되고 있음에도 불구하고, 단조성 분류기 전용의 전문적이고 공식적인 설명 방법이 부족한 문제를 해결한다.
• 내부 모델 구조에 대한 접근 권한 없이도 정확하고 공식적인 설명(PI-설명 및 대조적 설명)을 계산할 수 있는 모델 독립적 알고리즘을 개발한다.
• 단조성을 활용하여 계산 효율성을 확보함으로써, 분류기 추론 시간과 특성 수에 대해 다항시간 복잡도를 달성한다.
• SAT 기반 접근을 통해 모든 공식적 설명을 스케일러블하게 열거할 수 있도록 하며, 실질적인 성능 오버헤드를 최소화한다.
• 해당 설명의 품질과 정확성에 대해 이론적 및 실증적 보장을 제공함으로써, Anchor와 같은 히우리스틱 방법이 잘못된 설명을 낼 수 있는 문제점을 피한다.

제안 방법

• 분류기 추론 시간과 특성 수에 대해 다항시간 내에 단일 PI-설명(예측을 위한 부분집합 최소 특성 집합)을 계산하는 새로운 알고리즘을 제안한다.
• 단조성을 활용하여 최소 충분한 특성 집합을 탐색하도록 유도하며, 특성 값 증가가 예측을 감소시키지 않도록 보장한다.
• 예측을 변경시킬 수 있는 최소 특성 집합을 찾는 대조적 설명 알고리즘을 설계하며, 이 역시 다항시간 내에 수행된다.
• 모든 가능한 PI-설명과 대조적 설명을 체계적으로 열거하기 위해 SAT 기반의 공식화를 사용함으로써 분석을 위한 완전한 설명 집합을 제공한다.
• 단조성을 기반으로 한 가지단추 기법을 통합하여 탐색 공간을 줄이고, 열거 과정에서의 효율성을 향상시킨다.
• 분류기의 내부 구조를 알 필요 없이 블랙박스 접근 방식 뿐만 아니라, 단조성 모델에 대해 일반적으로 적용 가능한 모델 독립성을 확보한다.

실험 결과

연구 질문

• RQ1 모델 특화 논리나 지식 컴파일이 필요 없이, 단조성 분류기에서 공식적이고 부분집합 최소화된 설명(PI-설명)을 효율적으로 계산할 수 있는가?
• RQ2 단조성을 활용하면 정확성과 완전성을 유지하면서도 다항시간 내에 설명을 계산할 수 있는가?
• RQ3 속도, 설명 크기, 정확성 보장 측면에서, 제안된 방법이 Anchor와 같은 히우리스틱 설명기와 비교해 어떻게 성능을 냈는가?
• RQ4 실제 단조성 모델에서 SAT 기반 접근을 사용해 모든 공식적 설명을 열거하는 데 실질적인 확장성이 있는가?
• RQ5 열거 과정에서 SAT 솔버를 사용할 경우 계산 오버헤드가 얼마나 발생하며, 수백 개의 특성을 가진 모델에도 적용 가능한가?

주요 결과

• 제안된 알고리즘은 분류기의 추론 시간과 특성 수에 대해 다항시간 내에 하나의 공식적 설명을 계산하여 효율적인 설명 생성을 가능하게 한다.
• Auto-MPG 및 PimaMono 데이터셋에서 총 실행 시간은 분류기 추론에 의해 지배되었으며, 각각 99.99%와 99.54%를 차지하여 설명 계산 오버헤드가 거의 없음을 시사한다.
• BankruptcyRisk 및 PimaMono 데이터셋에서 MonoXP는 분류기 쿼리 수가 적어 Anchor보다 한 계단 이상 빠른 속도를 기록했다.
• 평균적으로 MonoXP는 Anchor와 비슷하거나 더 작은 설명 크기를 생성했으며, BankruptcyRisk에서 Anchor의 64.1%에 해당하는 설명은 잘못된 것으로 판명되어 전체 특성 공간에서 유효하지 않았다.
• SAT 기반 열거 알고리즘은 두 데이터셋에 대해 AXp 및 CXp 설명을 모두 성공적으로 계산했으며, 거의 없는 계산 오버헤드를 보여 실질적인 확장성을 입증했다.
• 결과적으로 공식적으로 정의된 설명이 히우리스틱 설명보다 더 크다고 보장할 필요가 없으며, 단조성이 설명 생성의 정확성과 효율성을 동시에 가능하게 한다.