[論文レビュー] Local Explanation Methods for Deep Neural Networks Lack Sensitivity to Parameter Values

Julius Adebayo, Justin Gilmer+2 more|arXiv (Cornell University)|Oct 8, 2018

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 70

ひとこと要約

本論文は、局所的な説明手法がモデルのパラメータ値を実際に反映しているかを、ランダムに初期化したネットワークと学習済みネットワークの説明を比較して検討し、ランダム化にもかかわらず説明が概ね同様であることを示している。

ABSTRACT

Explaining the output of a complicated machine learning model like a deep neural network (DNN) is a central challenge in machine learning. Several proposed local explanation methods address this issue by identifying what dimensions of a single input are most responsible for a DNN's output. The goal of this work is to assess the sensitivity of local explanations to DNN parameter values. Somewhat surprisingly, we find that DNNs with randomly-initialized weights produce explanations that are both visually and quantitatively similar to those produced by DNNs with learned weights. Our conjecture is that this phenomenon occurs because these explanations are dominated by the lower level features of a DNN, and that a DNN's architecture provides a strong prior which significantly affects the representations learned at these lower layers. NOTE: This work is now subsumed by our recent manuscript, Sanity Checks for Saliency Maps (to appear NIPS 2018), where we expand on findings and address concerns raised in Sundararajan et. al. (2018).

研究の動機と目的

• DNNの実際のパラメータ値に対する局所的説明の忠実さを評価する。
• ネットワークの重みがランダムに再初期化されたときに、説明が有意に変化するかを判定する。
• 局所的説明が低レベルの入力特徴とアーキテクチャ的事前情報に支配されているかを調査する。
• 説明手法におけるネットワークアーキテクチャとパラメータ値の影響を比較検討する。

提案手法

• Gradient、Integrated Gradients、Guided Backpropagation、Grad-CAM、Guided Grad-CAM、SmoothGrad、VarGrad を含むいくつかの局所説明手法を調査し実装する。
• 上位層から最初の層へと重みを再初期化して階層的にネットワークをランダム化し、説明の類似性を測定する。
• 各層を独立に再初期化して説明の類似性を測定する。
• 固定画像集合に対してSpearmanの順位相関を用いて説明間の類似性を定量化する。
• アーキテクチャ間で結果を分析する（ImageNet上のInception v3、MNISTのCNN、MNISTのMLP）およびデータセット。

実験結果

リサーチクエスチョン

• RQ1 ランダムな重みを持つDNNが生成する局所的説明は、学習済み重みのものに似ているか？
• RQ2 局所的説明は、ランダム初期化下でも保持される低レベルの特徴に支配されるか？
• RQ3 ネットワークブロックを段階的にランダム化することは、手法間の説明の安定性にどのように影響するか？
• RQ4 アーキテクチャは、パラメータ値に関係なく説明を支配する強い事前情報をもたらすか？

主な発見

• ランダムに初期化された重みを持つDNNは、視覚的にも定量的にも学習済みの重みと類似した説明を生み出す。
• 説明は、低レベルの入力特徴とアーキテクチャ的事前情報の支配により、乱数初期化に対して不変である傾向がある。
• Guided BackpropagationとGuided Grad-CAMは、ネットワークの劣化にもかかわらず説明にほとんど変化を示さない。
• 入力–出力勾配の説明は、乱数化が下位層に到達するにつれて最も大きく変化する。
• 結果は、ImageNet上のInception v3とMNISTのCNN/MLPモデルの両方で成立する。