[論文レビュー] Towards better understanding of gradient-based attribution methods for Deep Neural Networks

Marco Ancona, Enea Ceolini+2 more|arXiv (Cornell University)|Nov 16, 2017

Adversarial Robustness in Machine Learning被引用数 300

ひとこと要約

本論文は4つの勾配ベースの寄与度推定法（Gradient*Input、epsilon-LRP、Integrated Gradients、DeepLIFT）を分析し、理論的な関係を示し、統一的なフレームワークを提案し、Sensitivity-n を導入してデータセットとアーキテクチャ全体で寄与度の品質を評価する。

ABSTRACT

Understanding the flow of information in Deep Neural Networks (DNNs) is a challenging problem that has gain increasing attention over the last few years. While several methods have been proposed to explain network predictions, there have been only a few attempts to compare them from a theoretical perspective. What is more, no exhaustive empirical comparison has been performed in the past. In this work, we analyze four gradient-based attribution methods and formally prove conditions of equivalence and approximation between them. By reformulating two of these methods, we construct a unified framework which enables a direct comparison, as well as an easier implementation. Finally, we propose a novel evaluation metric, called Sensitivity-n and test the gradient-based attribution methods alongside with a simple perturbation-based attribution method on several datasets in the domains of image and text classification, using various network architectures.

研究の動機と目的

• 異なるアーキテクチャやタスク間で、原理的で比較可能な DNN の予測説明の必要性を動機づける。
• 勾配ベースの寄与度推定法を形式的に関連付け、統一して直接的な比較と実装を可能にする。
• 特徴量の部分集合下で寄与度の総和が出力の変化にどのように関連するかを定量化するために Sensitivity-n を導入する。
• 画像データとテキストデータセットで実証的に手法を比較し、理論的・実践的な知見を明らかにする。

提案手法

• epsilon-LRP と DeepLIFT を、修正された勾配関数を用いたバックプロパゲーションとして再定式化し、統一的な勾配ベースのフレームワークを作成する。
• 等価性の結果を証明する：epsilon-LRP は ReLU の活性化で Gradient*Input に対応し、原点を跨ぐ非線形性を持つバイアスなしネットワークに対しては DeepLIFT（Rescale）と等価である。
• Integrated Gradients と DeepLIFT が平均勾配と局所勾配を介してどのように関連するかを示し、乗法的相互作用への含意を論じる。
• Sensitivity-n を定義・適用して、特徴量の部分集合を取り除いたときの出力変化と寄与度の総和がどれほど一致するかを評価する。
• カスタム層を使わずに、現代的なグラフベースのフレームワーク（例：TensorFlow）でこれらの手法を実装するための実践的なガイダンスを提供する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの寄与度推定法は、どの条件下で互いに等価であるか、または近似であるか？
• RQ2 統一的なフレームワークは、寄与度推定法の直接的な比較と実装を容易にすることができるか？
• RQ3 定性的なヒートマップを超えて、寄与度推定法を定量的に評価するにはどうすればよいか？
• RQ4 非線形または乗法的相互作用（例：LSTM）に対する勾配ベースの寄与度推定の限界は何か？

主な発見

• epsilon-LRP と DeepLIFT は、修正された勾配を用いたバックプロパゲーションとして再定式化でき、統一的なフレームワークを可能にする。
• epsilon-LRP は ReLU 活性化で Gradient*Input に等価であり、原点を跨ぐ非線形性を持つバイアスなしネットワークに対しては DeepLIFT（Zero baseline）と等価である。
• Integrated Gradients と DeepLIFT はしばしば密接に関連しており、DeepLIFT は実践的には Integrated Gradients をうまく近似できる場合がある一方、乗法的相互作用により発散を招くことがある。
• Occlusion-1 は局所的な寄与度推定法として依然として強力で、Sensitivity-1 を満たす一方、勾配ベースの手法はグローバルな非線形効果をよりよく捉える。
• すべての手法は符号付きの寄与度を生む。入力にはネガティブな証拠が含まれることがあり、線形モデルではすべての手法が等価になる（Sensitivity-n はすべての n に対して成り立つ）。
• 提案された Sensitivity-n 指標は、特徴量の部分集合全体で寄与度の総和が出力変化とどのように関連するかを体系的に比較することを可能にする。