[論文レビュー] A Rate-Distortion Framework for Explaining Neural Network Decisions

Jan Macdonald, Stephan Wäldchen+2 more|arXiv (Cornell University)|May 27, 2019

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 15

ひとこと要約

本稿は、分類器出力の歪みを最小化するように非関連特徴をランダム化した際の歪みを最小化することにより、ニューラルネットワーク意思決定における最も関連性の高い入力特徴を形式的に定義し計算するためのレート・歪みフレームワークを導入する。この問題が計算的に困難（NP^PP完全）であることを証明し、既存の手法を上回るスパースで高影響力の特徴集合を特定するヒューリスティック手法RDEを提案する。MNISTおよびSTL-10の画像分類タスクにおいて、特に低レートでの性能が優れている。

ABSTRACT

We formalise the widespread idea of interpreting neural network decisions as an explicit optimisation problem in a rate-distortion framework. A set of input features is deemed relevant for a classification decision if the expected classifier score remains nearly constant when randomising the remaining features. We discuss the computational complexity of finding small sets of relevant features and show that the problem is complete for $\mathsf{NP}^\mathsf{PP}$, an important class of computational problems frequently arising in AI tasks. Furthermore, we show that it even remains $\mathsf{NP}$-hard to only approximate the optimal solution to within any non-trivial approximation factor. Finally, we consider a continuous problem relaxation and develop a heuristic solution strategy based on assumed density filtering for deep ReLU neural networks. We present numerical experiments for two image classification data sets where we outperform established methods in particular for sparse explanations of neural network decisions.

研究の動機と目的

• ニューラルネットワーク意思決定における特徴の関連性の概念を、レート・歪みフレームワークを用いて形式化すること。
• 与えられた分類器出力の最小関連特徴集合を特定する問題の計算複雑性を分析すること。
• 深層ニューラルネットワーク意思決定のスパースな説明のための実用的ヒューリスティック手法を開発すること。
• 画像分類ベンチマーク上で、既存の説明手法と比較して本手法の性能を評価すること。

提案手法

• フレームワークは、関連のない特徴がランダムサンプルに置き換えられた際の、元の出力とランダム化された出力との間の期待歪みを用いて関連性を定義する。
• レート・歪み関数 R(ε) は、歪み D(S) ≤ ε を満たす最小の集合サイズ S として定義され、説明のスパarsityと予測の忠実度のトレードオフを形式化する。
• この問題が NP^PP 完全であることが示され、高い計算複雑性を示しており、任意の非自明な要因で近似することも NP 困難である。
• 離散最適化問題の連続的緩和を導入し、深層 ReLU ネットワークに対して仮想密度フィルタリングを用いたヒューリスティック解法を可能にする。
• 提案手法 RDE（レート・歪み説明）は、この緩和を用いて期待歪みを最小化することで、反復的に最も関連性の高い特徴を同定する。
• RDE の2つの変種を評価：1つは対角近似を用い、もう1つは低ランク近似を用いて特徴の局所化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク意思決定における特徴の関連性の形式的で原則的な定義は何か？
• RQ2 ランダム化された状態でも分類器出力を維持する最小関連特徴集合を求める問題は、どの程度計算的に困難か？
• RQ3 離散最適化問題の連続的緩和は、特徴関連性推定のための実用的で効果的なヒューリスティックを生み出せるか？
• RQ4 本手法は、既存の説明手法と比較して、スパースで高影響力の特徴をどの程度効果的に特定できるか？
• RQ5 特に低レート（スパースな説明）において、レート・歪みトレードオフの観点で優れた性能を達成できるか？

主な発見

• 最小関連特徴集合を求める問題は NP^PP 完全であることが示され、計算AI分野で最も困難な問題の一つであることが示された。
• 任意の非自明な要因で近似することも NP 困難であるため、実用的な文脈ではヒューリスティック手法の使用が正当化される。
• 提案された RDE 手法は、低レートにおいて期待歪みの急低下を示し、最も関連性の高い特徴を優れた精度で特定している。
• MNIST では、RDE はすべてのベースライン手法を上回り、より多くの関連特徴が明らかになるにつれて歪みが最も速く低下した。
• STL-10 では、RDE の低ランクバージョンが、例えば犬の顔の特徴などより詳細な情報を捉え、低レートでも優れた性能を維持した。
• RDE は、LIME、SHAP、LRP、SmoothGrad と比較して、コアな意思決定関連特徴をより正確に特定するスパースな説明を生成した。