[논문 리뷰] A Rate-Distortion Framework for Explaining Neural Network Decisions

Jan Macdonald, Stephan Wäldchen외 2명|arXiv (Cornell University)|2019. 05. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 15

한 줄 요약

이 논문은 신경망 결정에 대해 가장 관련성이 높은 입력 특징을 공식적으로 정의하고 계산하기 위해 비율-왜곡 프레임워크를 도입한다. 비율-왜곡 프레임워크는 비관련 특징을 무작위화했을 때 분류기 출력의 왜곡을 최소화함으로써 이를 달성한다. 이 문제는 계산적으로 어렵다는 것을 증명하며(NP^PP 완전), 기존 방법보다 우수한 히우리스틱 방법인 RDE를 제안한다. RDE는 MNIST 및 STL-10 이미지 분류 작업에서 낮은 비율에서 특히 희박한 고영향도 특징 집합을 식별하는 데에 뛰어나다.

ABSTRACT

We formalise the widespread idea of interpreting neural network decisions as an explicit optimisation problem in a rate-distortion framework. A set of input features is deemed relevant for a classification decision if the expected classifier score remains nearly constant when randomising the remaining features. We discuss the computational complexity of finding small sets of relevant features and show that the problem is complete for $\mathsf{NP}^\mathsf{PP}$, an important class of computational problems frequently arising in AI tasks. Furthermore, we show that it even remains $\mathsf{NP}$-hard to only approximate the optimal solution to within any non-trivial approximation factor. Finally, we consider a continuous problem relaxation and develop a heuristic solution strategy based on assumed density filtering for deep ReLU neural networks. We present numerical experiments for two image classification data sets where we outperform established methods in particular for sparse explanations of neural network decisions.

연구 동기 및 목표

• 신경망 결정에서의 특징 관련성 개념을 비율-왜곡 프레임워크를 통해 공식화하기.
• 주어진 분류기 출력을 유지하는 데 필요한 최소 관련 특징 집합을 식별하는 문제의 계산 복잡도 분석하기.
• 딥 신경망 결정에 대한 희박한 설명을 위한 실용적인 히우리스틱 방법 개발하기.
• 이미지 분류 벤치마크에서 기존의 설명 기법들과의 성능 비교를 통한 방법 평가하기.

제안 방법

• 프레임워크는 기대 왜곡을 통해 관련성을 정의한다: 비관련 특징이 무작위 표본으로 대체되었을 때 원래의 분류기 출력과의 제곱 차이.
• 비율-왜곡 함수 R(ε)는 왜곡 D(S) ≤ ε를 만족하는 최소 집합 크기 S로 정의되며, 설명의 희박성과 예측 정확성 간의 트레이드오프를 공식화한다.
• 문제가 NP^PP 완전하다는 것이 입증되어 고도의 계산 복잡도를 지님을 보여주며, 어떤 비트라이벌 요인 내에서도 근사가 NP-난이도임을 증명한다.
• 이산 최적화 문제의 연속적 근사를 도입하여, 딥 ReLU 네트워크에서 가정된 밀도 필터링을 통한 히우리스틱 해법을 가능하게 한다.
• 제안된 방법인 RDE(Rate-Distortion Explanation)는 이 근사를 사용하여 기대 왜곡을 최소화함으로써 반복적으로 가장 관련성이 높은 특징을 식별한다.
• RDE의 두 가지 변형이 평가되었으며, 하나는 대각 행렬 근사를 사용하고, 다른 하나는 낮은 랭크 근사를 사용하여 특징 국소화를 향상시킨다.

실험 결과

연구 질문

• RQ1 신경망 결정에서 특징 관련성의 공식적이고 원칙적인 정의는 무엇인가?
• RQ2 무작위화된 상태에서 분류기 출력을 유지하는 데 필요한 최소 관련 특징 집합을 찾는 문제의 계산 난이도는 어느 정도인가?
• RQ3 이산 최적화 문제의 연속적 근사가 특징 관련성 추정을 위한 실용적이고 효과적인 히우리스틱을 제공할 수 있는가?
• RQ4 제안된 방법은 기존의 설명 기법들과 비교해 희박한 고영향도 특징을 어떻게 식별하는가?
• RQ5 특히 낮은 비율(희박한 설명)에서 비율-왜곡 트레이드오프에서 뛰어난 성능을 달성하는가?

주요 결과

• 최소 관련 특징 집합을 찾는 문제는 NP^PP 완전하며, 이는 계산 인공지능 분야에서 가장 어려운 문제들 중 하나임을 시사한다.
• 문제는 어떤 비트라이벌 요인 내에서도 근사가 NP-난이도이므로, 실무에서 히우리스틱 방법의 사용이 정당화된다.
• 제안된 RDE 방법은 낮은 비율에서 기대 왜곡이 가장 급격히 감소함을 보여주며, 가장 관련성이 높은 특징을 우수하게 식별함을 시사한다.
• MNIST에서 RDE는 모든 베이스라인보다 관련성 순서 테스트에서 뛰어난 성능을 보이며, 더 많은 관련 특징이 드러날수록 왜곡이 가장 빨리 감소한다.
• STL-10에서 RDE의 낮은 랭크 변형은 더 세밀한 세부 사항(예: 개의 얼굴 특징)을 포착하고 낮은 비율에서도 강력한 성능을 유지한다.
• RDE는 LIME, SHAP, LRP, SmoothGrad와 비교해 핵심 결정 관련 특징을 더 정확하게 식별하는 희박한 설명을 생성한다.