[论文解读] Model Interpretability through the Lens of Computational Complexity

Pablo Barceló, Mikaël Monet+2 more|arXiv (Cornell University)|Oct 23, 2020

Explainable Artificial Intelligence (XAI)参考文献 31被引用 38

一句话总结

本论文将基于复杂性框架，将解释性查询用于比较不同模型类别（FBDDs、感知机、MLP）的可解释性，结果表明基于树的模型通常比神经网络更易解释，但存在细微差别，并通过参数化的复杂性分析表明浅层网络可能比深层网络更具可解释性。

ABSTRACT

In spite of several claims stating that some models are more interpretable than others -- e.g., "linear models are more interpretable than deep neural networks" -- we still lack a principled notion of interpretability to formally compare among different classes of models. We make a step towards such a notion by studying whether folklore interpretability claims have a correlate in terms of computational complexity theory. We focus on local post-hoc explainability queries that, intuitively, attempt to answer why individual inputs are classified in a certain way by a given model. In a nutshell, we say that a class $\mathcal{C}_1$ of models is more interpretable than another class $\mathcal{C}_2$, if the computational complexity of answering post-hoc queries for models in $\mathcal{C}_2$ is higher than for those in $\mathcal{C}_1$. We prove that this notion provides a good theoretical counterpart to current beliefs on the interpretability of models; in particular, we show that under our definition and assuming standard complexity-theoretical assumptions (such as P$ eq$NP), both linear and tree-based models are strictly more interpretable than neural networks. Our complexity analysis, however, does not provide a clear-cut difference between linear and tree-based models, as we obtain different results depending on the particular post-hoc explanations considered. Finally, by applying a finer complexity analysis based on parameterized complexity, we are able to prove a theoretical result suggesting that shallow neural networks are more interpretable than deeper ones.

研究动机与目标

• 将一个框架形式化，使模型可解释性通过可解释性查询与计算复杂性相关联。
• 在局部事后解释下比较三种模型类别（FBDDs、感知机、MLPs）。
• 在标准假设下（如 P ≠ NP）建立可解释性查询的复杂性分离。
• 通过参数化复杂性增强比较，以区分浅层与深层 MLP 的可解释性。

提出的方法

• 为布尔模型定义可解释性查询（MINIMUMCHANGEREQUIRED、MINIMUMSUFFICIENTREASON、COUNTCOMPLETIONS）。
• 将框架应用到带 ReLU 激活的 FBDDs、感知机、MLP。
• 在每种模型类别下，将问题分类为 PTIME、NP-complete、Σp2-complete、#P 等。
• 证明分离：FBDDs vs MLP、感知机 vs MLP，以及跨查询的混合比较。
• 使用参数化复杂性（WMaj 等级）来显示 rMLP 的深度相关可解释性差距。

实验结果

研究问题

• RQ1 计算后验查询的计算复杂性是否与传统的可解释性直觉（树基模型 vs 神经网络）相关？
• RQ2 在关键可解释性查询（MCR、MSR、CC）中，MLP 相对于 FBDD 与感知机的比较情况如何？
• RQ3 参数化复杂性是否能在经典复杂度之外区分浅层与深层 MLP 的可解释性？
• RQ4 在三种模型类别中，每个查询的确切复杂性分类是什么？
• RQ5 结果是否扩展到相关查询，如检查充分原因或计数完成？

主要发现

FBDDs	感知机	多层感知机
MINIMUMCHANGEREQUIRED	PTIME	PTIME	NP-complete
MINIMUMSUFFICIENTREASON	NP-complete	PTIME	Σp2-complete
CHECKSUFFICIENTREASON	PTIME	PTIME	coNP-complete
COUNTCOMPLETIONS	PTIME	#P-complete	#P-complete

• FBDDs 在 MCR、MSR 与 CC 的 c-可解释性方面严格优于 MLP。
• 在 MCR 和 MSR 上，感知机在 c-可解释性方面严格优于 MLP；而在 CC 上两者难度相同。
• MCR 对 FBDDs 和感知机而言是 PTIME，对 MLP 则为 NP-complete。
• MSR 对 FBDDs 为 NP-complete，感知机为 PTIME，MLPs 为 Σp2-complete。
• CSR（检查充分原因）对 FBDDs 和感知机为 PTIME，但对 MLPs 为 coNP-complete。
• COUNTCOMPLETIONS 对 FBDDs 为 PTIME，对感知机和 MLPs 为 #P-complete（在感知机的一元权重下为伪多项式时间）。
• COUNTCOMPLETIONS 对感知机有一个 FPRAS，但对 MLP 不成立。
• 经过更精细的参数化分析显示，对于受限的 MLP，深层网络在某些情况下的可解释性严格差于浅层（W Maj 等级）。