[論文レビュー] Explaining Deep Neural Networks Using Spectrum-Based Fault Localization

Youcheng Sun, Hana Chockler+2 more|arXiv (Cornell University)|Aug 6, 2019

Adversarial Robustness in Machine Learning参考文献 52被引用数 4

ひとこと要約

本論文は、ソフトウェア工学におけるスペクトルベースの故障局所化（SFL）を活用して、深層ニューラルネットワーク（DNN）の意思決定を説明する新規手法DeepCoverを提案する。この手法は、最小限で関連性の高い入力特徴を同定することで、GradCAM、LIME、SHAP、RISE、Extremalといった最先端手法を上回り、正解がわかっているベンチマークで76.7%の精度を達成した。これは次に優れた手法より6%高い。

ABSTRACT

The black-box nature of deep neural networks (DNNs) makes it impossible to understand why a particular output is produced, creating demand for Explainable AI. In this paper, we show that statistical fault localization (SFL) techniques from software engineering deliver high quality explanations of the outputs of DNNs, where we define an explanation as a minimal subset of features sufficient for making the same decision as for the original input. We present an algorithm and a tool called DeepCover, which synthesizes a ranking of the features of the inputs using SFL and constructs explanations for the decisions of the DNN based on this ranking. We compare explanations produced by DeepCover with those of the state-of-the-art tools GradCAM, LIME, SHAP, RISE and Extremal and show that explanations generated by DeepCover are consistently better across a broad set of experiments. On a benchmark set with known ground truth, DeepCover achieves 76.7% accuracy, which is 6% better than the second best Extremal.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）における解釈可能性の欠如が、実世界のAI応用における信頼性とデバッグを妨げているという問題に対処すること。
• DNNの予測に十分な最小の入力特徴集合を特定することで、最小限で高品質な説明を生成する手法を開発すること。
• ソフトウェア工学からの統計的故障局所化技術を活用して、既存の説明可能化ツールを改善すること。
• 正解がわかっているベンチマーク上で評価し、最先端の説明可能化ツールと包括的に比較すること。

提案手法

• DeepCoverは、誤分類されたサンプルを「故障」とし、特徴を潜在的原因とみなして、DNNの入力にスペクトルベースの故障局所化（SFL）を適用する。
• 各行が特徴、各列がテスト入力を表すスペクトル行列を構築し、入力全体における特徴の活性化パターンを示す値を割り当てる。
• SFLアルゴリズムは、特定の特徴が誤った予測と同時に頻繁に現れる頻度に基づき、各特徴の「疑わしさスコア」を計算し、エラーへの寄与度に応じて特徴をランク付けする。
• 上位ランクの特徴が説明として選択され、DNNの出力意思決定を再現するのに十分な最小の特徴集合を形成する。
• 特徴の疑わしさスコアが最も高いものを選択することで、説明を合成し、最小限で関連性の高い特徴集合を保証する。
• モデルの再トレーニングを必要とせず、DNN推論パイプラインに統合して、任意の入力に対して自動的に説明を生成できる。

実験結果

リサーチクエスチョン

• RQ1 スペクトルベースの故障局所化（SFL）は、深層ニューラルネットワークが下す意思決定を説明するために効果的に適応可能か？
• RQ2 SFLに基づく手法が、GradCAM、LIME、SHAP、RISE、Extremalといった最先端の説明可能化ツールと比較して、説明の質に優れているか？
• RQ3 正解がわかっているベンチマーク上で、SFLに基づくアプローチは、既存の手法よりも正確で最小限の説明を生成できるか？
• RQ4 SFLに基づく説明は、多様なデータセットとネットワークアーキテクチャにわたり一貫して他の手法を上回るか？

主な発見

• DeepCoverは、正解がわかっているベンチマークでDNNの予測に適切な入力特徴を76.7%の精度で特定した。これは、次に優れた手法であるExtremalの70.7%を大きく上回った。
• SFLに基づくアプローチは、すべての評価対象のデータセットとモデルで、GradCAM、LIME、SHAP、RISEよりも一貫性があり、質の高い説明を生成した。
• DeepCoverが生成した説明は、常に最小限に抑えられており、モデルの意思決定を再現するのに必要な最小の特徴集合に焦点を当てていた。
• この手法は、アーキテクチャの変更や再トレーニングを必要とせず、さまざまなネットワークアーキテクチャとデータセットに対して、高い性能を維持するというロバストネスを示した。
• SFLの活用により、勾配ベースやパラメータ変更ベースの手法で一般的に見られるノイズや不関係な寄与を低減し、顕著な特徴を正確に特定できた。
• 結果から、ソフトウェア工学分野のSFL技術がDNNの挙動を説明するために非常に効果的であることが確認され、説明可能AIのための新しい信頼性の高いパラダイムを提供することがわかった。