[論文レビュー] Model Interpretability through the Lens of Computational Complexity

Pablo Barceló, Mikaël Monet+2 more|arXiv (Cornell University)|Oct 23, 2020

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 38

ひとこと要約

この論文は、局所的なポストホックの説明可能性クエリを用いて、モデルクラス（FBDDs、パーセプトロン、MLP）間の解釈可能性を計算複雑性ベースの枠組みで比較する。木構造ベースのモデルはニューラルネットワークより解釈可能性が高い傾向にあり、ニュアンスを含む結果と、浅いネットワークが深いものより解釈可能性が高い可能性を示唆するパラメータ化された計算複雑性分析。

ABSTRACT

In spite of several claims stating that some models are more interpretable than others -- e.g., "linear models are more interpretable than deep neural networks" -- we still lack a principled notion of interpretability to formally compare among different classes of models. We make a step towards such a notion by studying whether folklore interpretability claims have a correlate in terms of computational complexity theory. We focus on local post-hoc explainability queries that, intuitively, attempt to answer why individual inputs are classified in a certain way by a given model. In a nutshell, we say that a class $\mathcal{C}_1$ of models is more interpretable than another class $\mathcal{C}_2$, if the computational complexity of answering post-hoc queries for models in $\mathcal{C}_2$ is higher than for those in $\mathcal{C}_1$. We prove that this notion provides a good theoretical counterpart to current beliefs on the interpretability of models; in particular, we show that under our definition and assuming standard complexity-theoretical assumptions (such as P$ eq$NP), both linear and tree-based models are strictly more interpretable than neural networks. Our complexity analysis, however, does not provide a clear-cut difference between linear and tree-based models, as we obtain different results depending on the particular post-hoc explanations considered. Finally, by applying a finer complexity analysis based on parameterized complexity, we are able to prove a theoretical result suggesting that shallow neural networks are more interpretable than deeper ones.

研究の動機と目的

• 説明可能性クエリを介して、モデル解釈可能性と計算複雑性を結ぶ枠組みを形式化する。
• 局所的なポストホック説明の下で、3つのモデルクラス(FBDDs, パーセプトロン, MLP)を比較する。
• 標準的な仮定の下で、解釈可能性クエリの複雑性分離を確立する（例：P ≠ NP）。
• パラメトリックな計算複雑性を用いて、浅いMLPと深いMLPの解釈可能性を区別する比較を強化する。

提案手法

• Booleanモデルのための説明可能性クエリ（MINIMUMCHANGEREQUIRED、MINIMUMSUFFICIENTREASON、COUNTCOMPLETIONS）を定義する。
• ReLU活性化をもつFBDDs、パーセプトロン、MLPへこの枠組みを適用する。
• 各モデルクラスの下で、問題をPTIME、NP-complete、Σp2-complete、#P などに分類する。
• 分離を証明する：FBDDs vs MLPs、パーセプトロン vs MLP、クエリ間の混合比較。
• パラメトリック計算複雑性（WMaj階層）を適用して、rMLPに対する深さ依存の解釈可能性のギャップを示す。

実験結果

リサーチクエスチョン

• RQ1 ポストホッククエリの計算複雑性は、木構造ベースかニューラルモデルかという民間伝承の解釈可能性の主張と相関するか？
• RQ2 主要な説明可能性クエリ（MCR、MSR、CC）において、MLPはFBDDとパーセプトロンとどのように比較されるか？
• RQ3 古典的な計算複雑性を超えて、パラメトリック計算複雑性は浅いMLPと深いMLPの解釈可能性を区別できるか？
• RQ4 3つのモデルクラスのそれぞれのクエリの正確な複雑性分類は何か？
• RQ5 十分な理由を検査することや完成分を数えることなど、関連クエリにも結果は拡張されるか？

主な発見

FBDDs	Perceptrons	MLPs
MINIMUMCHANGEREQUIRED	PTIME	PTIME	NP-complete
MINIMUMSUFFICIENTREASON	NP-complete	PTIME	Σp2-complete
CHECKSUFFICIENTREASON	PTIME	PTIME	coNP-complete
COUNTCOMPLETIONS	PTIME	#P-complete	#P-complete

• FBDDsは、MCR、MSR、CCにおいてMLPsより厳密にc解釈可能である。
• パーセプトロンはMCRとMSRでMLPより厳密にc解釈可能であり、CCでは両者の難易度は等しい。
• MCRはFBDDsとパーセプトロンの双方でPTIMEだが、MLPではNP-completeである。
• MSRはFBDDsでNP-complete、パーセプトロンでPTIME、MLPでΣp2-completeである。
• CSR（check sufficient reason）はFBDDsとパーセプトロンでPTIMEだが、MLPでcoNP-completeである。
• COUNTCOMPLETIONSはFBDDsでPTIME、パーセプトロンとMLPの双方で#P-complete（パーセプトロンは一元重み下で擬似多項式時間を持つ）。
• COUNTCOMPLETIONSはパーセプトロンに対してFPRASを認めるが、MLPには認められない。
• 洗練されたパラメトリック分析は、制限されたMLPにおいて、深いネットワークが浅いネットワークより厳密に解釈不能である場合がありうることを示す（W Maj階層）。