[논문 리뷰] Model Interpretability through the Lens of Computational Complexity

Pablo Barceló, Mikaël Monet외 2명|arXiv (Cornell University)|2020. 10. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 38

한 줄 요약

논문은 로컬 포스트-호크 설명 가능 질의를 사용하여 모델 클래스(FBDDs, perceptrons, MLPs) 간 해석 가능성을 복잡도 기반 프레임워크로 정식화하고, 트리 기반 모델이 신경망보다 해석 가능성이 더 큰 경향이 있으며, 미세한 결과와 파라미터화된 복잡도 분석이 얕은 네트워크가 더 깊은 네트워크보다 해석 가능성이 더 높을 수 있음을 시사한다.

ABSTRACT

In spite of several claims stating that some models are more interpretable than others -- e.g., "linear models are more interpretable than deep neural networks" -- we still lack a principled notion of interpretability to formally compare among different classes of models. We make a step towards such a notion by studying whether folklore interpretability claims have a correlate in terms of computational complexity theory. We focus on local post-hoc explainability queries that, intuitively, attempt to answer why individual inputs are classified in a certain way by a given model. In a nutshell, we say that a class $\mathcal{C}_1$ of models is more interpretable than another class $\mathcal{C}_2$, if the computational complexity of answering post-hoc queries for models in $\mathcal{C}_2$ is higher than for those in $\mathcal{C}_1$. We prove that this notion provides a good theoretical counterpart to current beliefs on the interpretability of models; in particular, we show that under our definition and assuming standard complexity-theoretical assumptions (such as P$ eq$NP), both linear and tree-based models are strictly more interpretable than neural networks. Our complexity analysis, however, does not provide a clear-cut difference between linear and tree-based models, as we obtain different results depending on the particular post-hoc explanations considered. Finally, by applying a finer complexity analysis based on parameterized complexity, we are able to prove a theoretical result suggesting that shallow neural networks are more interpretable than deeper ones.

연구 동기 및 목표

• 설명 가능성 질의를 통해 모델 해석 가능성과 계산 복잡도 사이의 프레임워크를 정식화한다.
• 로컬 포스트-호크 설명 하에서 세 가지 모델 클래스(FBDDs, perceptrons, MLPs)를 비교한다.
• 표준 가정하에서 해석 가능성 질의에 대한 복잡도 구분을 확립한다(예: P ≠ NP).
• 매개변수화된 복잡도를 사용하여 얕은 MLP와 깊은 MLP 간의 해석 가능성 차이를 구분하는 비교를 강화한다.

제안 방법

• Boolean 모델에 대해 설명 가능성 질의(MINIMUMCHANGEREQUIRED, MINIMUMSUFFICIENTREASON, COUNTCOMPLETIONS)를 정의한다.
• ReLU 활성화를 갖는 FBDDs, perceptrons, MLPs에 프레임워크를 구현한다.
• 각 모델 클래스 하에서 문제를 PTIME, NP-complete, Σp2-complete, #P 등으로 분류한다.
• FBDDs 대 MLPs, perceptrons 대 MLPs 간의 분리와 질의 간의 혼합 비교를 증명한다.
• 매개변수화된 복잡도(WMaj 계층)을 적용하여 rMLPs의 깊이에 따른 해석 가능성 차이를 보인다.

실험 결과

연구 질문

• RQ1 포스트호크 질의의 계산 복잡도가 트리 기반 모델 대 신경망 모델에 대한 관습적 해석 가능성 주장과 상관관계가 있는가?
• RQ2 주요 설명 가능성 질의(MCR, MSR, CC)에서 MLPs가 FBDDs 및 perceptrons와 어떻게 비교되는가?
• RQ3 고전적 복잡도 이상으로 매개변수화된 복잡도가 얕은 MLP와 깊은 MLP의 해석 가능성을 구별할 수 있는가?
• RQ4 세 모델 클래스 각각에 대해 각 질의의 정확한 복잡도 분류는 무엇인가?
• RQ5 충분한 이유 확인이나 완성 개수 세기와 같은 관련 질의에도 결과가 확장되는가?

주요 결과

FBDDs	Perceptrons	MLPs
MINIMUMCHANGEREQUIRED	PTIME	PTIME	NP-complete
MINIMUMSUFFICIENTREASON	NP-complete	PTIME	Σp2-complete
CHECKSUFFICIENTREASON	PTIME	PTIME	coNP-complete
COUNTCOMPLETIONS	PTIME	#P-complete	#P-complete

• FBDDs는 MLPs보다 MCR, MSR, CC에 대해 더 많은 c-해석가능성을 가진다.
• Perceptrons는 MCR 및 MSR에서 MLPs보다 엄격히 더 많은 c-해석가능성을 가지며, CC에서는 둘 사이의 난이도가 같아진다.
• MCR은 FBDDs와 perceptrons 모두에 대해 PTIME이지만, MLPs에 대해 NP-complete이다.
• MSR은 FBDDs에서 NP-complete이고, perceptrons에서 PTIME이며, MLPs에서 Σp2-complete이다.
• CSR(check sufficient reason)은 FBDDs와 perceptrons에서 PTIME이지만, MLPs에서 coNP-complete이다.
• COUNTCOMPLETIONS은 FBDDs에서 PTIME이고, perceptrons와 MLPs에서 #P-complete이며(단, perceptrons는 한자리 가중치에서 의사 다항 시간의 경우가 있음).
• COUNTCOMPLETIONS은 perceptrons에 대한 FPRAS를 허용하지만, MLPs에는 허용하지 않는다.
• 제련된, 매개변수화된 분석은 제한된 MLP의 경우 더 깊은 네트워크가 더 얕은 네트워크보다 strictly less interpretable일 수 있음을 보여준다(W Maj 계층).