[논문 리뷰] Provably efficient, succinct, and precise explanations

Guy Blanc, Jane Lange외 1명|arXiv (Cornell University)|2021. 11. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 8

한 줄 요약

이 논문은 모델에 종속되지 않는 알고리즘을 제안하며, 검증 가능하고 정확한 증명—작은 특성 집합으로 블랙박스 모델의 예측을 설명하는 것—을 효율적으로 찾는다. 크기와 정확도에 대한 증명 가능한 보장을 제공한다. 국소 계산과 복잡도 이론 기법을 통해 의사결정 트리의 암묵적 학습을 활용함으로써, 시간 복잡도와 질의 복잡도가 poly(d, C(f), 1/ε, 1/δ)이 되며, 여기서 C(f)는 모델의 평균 증명 복잡도이다.

ABSTRACT

We consider the problem of explaining the predictions of an arbitrary blackbox model $f$: given query access to $f$ and an instance $x$, output a small set of $x$'s features that in conjunction essentially determines $f(x)$. We design an efficient algorithm with provable guarantees on the succinctness and precision of the explanations that it returns. Prior algorithms were either efficient but lacked such guarantees, or achieved such guarantees but were inefficient. We obtain our algorithm via a connection to the problem of {\sl implicitly} learning decision trees. The implicit nature of this learning task allows for efficient algorithms even when the complexity of $f$ necessitates an intractably large surrogate decision tree. We solve the implicit learning problem by bringing together techniques from learning theory, local computation algorithms, and complexity theory. Our approach of "explaining by implicit learning" shares elements of two previously disparate methods for post-hoc explanations, global and local explanations, and we make the case that it enjoys advantages of both.

연구 동기 및 목표

• 기존 히우리스틱 방법들이 후행 설명을 위해 일반적으로 큰 또는 부정확한 특성 집합을 반환하는 데서 비롯되는 증명 가능한 보장의 부족을 해결한다.
• 간결성과 정확성을 보장하는 이전의 정확한 방법들이 지수 시간이 소요되는 비효율성 문제를 해결한다.
• 효율성과 설명 품질에 대한 이론적 보장을 동시에 확보하는 모델에 종속되지 않는 알고리즘을 개발한다.
• 최소 증명을 찾는 데 있어 알려진 난이도 결과를 회피하기 위해 암묵적 학습 기법을 사용한다.
• 새로운 '암묵적 학습을 통한 설명' 프레임워크를 통해 국소적 및 전역적 설명 방법의 장점을 통합한다.

제안 방법

• 설명을 증명—모델의 예측을 높은 확률로 결정짓는 최소 특성 부분집합—으로 정의한다.
• 블랙박스 모델 f의 복잡도 측도로 평균 증명 복잡도 C(f)의 개념을 도입한다.
• 국소 계산 알고리즘과 학습 이론을 활용해, 명시적인 구축 없이도 f의 의사결정 트리 표현을 암묵적으로 학습한다.
• 노이즈 안정성 특성을 기반으로 특성을 반복적으로 선택함으로써 정밀도와 간결성을 보장하는 증명 찾기 알고리즘을 설계한다.
• Smyth의 정리와 복잡도 이론적 감소 기법을 활용해 의사결정 트리 복잡도와 증명 복잡도를 연결한다.
• 질의 및 시간 복잡도가 d, C(f), 1/ε, 1/δ에 대해 다항식으로 유지되어, 전체 의사결정 트리가 계산적으로 불가능한 경우에도 확장 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 임의의 블랙박스 모델에 대해 크기와 정밀도에 대한 증명 가능한 보장을 갖춘 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 모델 f에 대한 구조적 가정이나 의사결정 트리의 명시적 구축 없이 이러한 보장을 달성할 수 있는가?
• RQ3 의사결정 트리의 암묵적 학습이 효율적이고 정확한 후행 설명을 가능하게 할 정도로 어느 정도의 영향을 미칠 수 있는가?
• RQ4 국소 계산과 복잡도 이론 기법을 활용함으로써 최소 증명을 찾는 데 있어 알려진 비결정성 결과를 극복할 수 있는가?
• RQ5 새로운 이론적 프레임워크를 통해 국소적 및 전역적 설명 방법의 장점을 통합할 수 있는가?

주요 결과

• 제안된 알고리즘은 균일한 랜덤 입력에서 확률 1−δ 이상으로 ε 오차의 크기가 poly(C(f), 1/ε, 1/δ인 증명을 반환한다.
• 알고리즘의 시간 복잡도와 질의 복잡도는 poly(d, C(f), 1/ε, 1/δ)로 제한되어 있어, 전체 의사결정 트리가 지수적으로 크더라도 효율적이다.
• 최소 증명 크기가 2일 뿐이지만도 Ribeiro 등이 제안한 앵커 방법과 같은 기존 히우리스틱보다 성능이 뛰어나며, 이는 크기가 Ω(d)에 이르는 증명을 반환할 수 있다.
• 암묵적 학습을 통해 명시적 열거를 피하므로, 최소 증명을 찾는 데 있어 알려진 난이도 결과를 회피한다.
• 이론적 보장은 이진 특성과 균일 분포를 전제로 하지만, 핵심 프레임워크는 더 일반적인 설정으로 확장 가능하다.
• 의사결정 트리 복잡도와 증명 복잡도 사이의 관계가 공식적으로 확립되었으며, C(f)가 가능한 최소 증명 크기를 상한으로 제공함을 보여준다.