[論文レビュー] Computationally Efficient Measures of Internal Neuron Importance

Avanti Shrikumar, Jocelin Su+1 more|arXiv (Cornell University)|Jul 26, 2018

Explainable Artificial Intelligence (XAI)参考文献 5被引用数 6

ひとこと要約

この論文では、深層ニューラルネットワーク内の内部ニューロンへの重要性を割り当てる、計算的に効率的で理論的に妥当な手法であるNeuron Integrated Gradientsを紹介する。数学的に、隠れ層におけるTotal ConductanceがPath Integrated Gradientsに等価であることを証明し、標準的なTensorFlow演算子を用いたスケーラブルな実装を可能にした。実験により、理論的安定性においてDeepLIFTを上回りつつ、実用的な性能を維持していることが示された。

ABSTRACT

The challenge of assigning importance to individual neurons in a network is of interest when interpreting deep learning models. In recent work, Dhamdhere et al. proposed Total Conductance, a "natural refinement of Integrated Gradients" for attributing importance to internal neurons. Unfortunately, the authors found that calculating conductance in tensorflow required the addition of several custom gradient operators and did not scale well. In this work, we show that the formula for Total Conductance is mathematically equivalent to Path Integrated Gradients computed on a hidden layer in the network. We provide a scalable implementation of Total Conductance using standard tensorflow gradient operators that we call Neuron Integrated Gradients. We compare Neuron Integrated Gradients to DeepLIFT, a pre-existing computationally efficient approach that is applicable to calculating internal neuron importance. We find that DeepLIFT produces strong empirical results and is faster to compute, but because it lacks the theoretical properties of Neuron Integrated Gradients, it may not always be preferred in practice. Colab notebook reproducing results: http://bit.ly/neuronintegratedgradients

研究の動機と目的

• 深層ネットワーク内の内部ニューロンへの重要性割り当てに、スケーラブルで理論的根拠を持つ手法が不足しているという問題に取り組む。
• TensorFlowで元々実装されたTotal Conductanceの計算的非効率性と実装の複雑さを解消する。
• DeepLIFTなどの既存手法の代替として、実用的で効率的かつ理論的根拠を持つ、内部ニューロンへの重要性割り当ての代替手法を提供する。
• 精度と実行時間の観点から、Neuron Integrated GradientsをDeepLIFTおよび勾配ベースのベースラインと、実験的に比較する。

提案手法

• 隠れ層ニューロンにおけるTotal ConductanceとPath Integrated Gradientsの数学的同等性を証明し、前者が後者の特別な場合であることを示す。
• 標準的なTensorFlow勾配演算子を用いてTotal Conductanceを再定式化し、カスタム勾配レイヤーを必要としない、効率的でスケーラブルな計算を可能にする。
• Neuron Integrated Gradientsとして手法を実装し、基準入力から実際の入力への直線的経路に沿って勾配を統合することで、重要性スコアを計算する。
• ニューロン活性の差分を計算するために、すべてのピxlsが0（黒）の画像を基準入力として使用する。
• ソフトマックス出力の相関性を補正するため、クラス間の平均寄与量を差し引く正規化を適用する。
• アブレーション評価を用いて重要性の質を評価し、高寄与度ニューロンを基準値に設定した際のトップソフトマックスクラス出力の変化を測定する。

実験結果

リサーチクエスチョン

• RQ1 Total Conductanceは、既知の勾配ベースの重要性割り当て手法と数学的に同等であるか。もしそうならば、どの手法か？
• RQ2 TensorFlowのような標準的なディープラーニングフレームワークを用いて、カスタム演算子を必要とせずにTotal Conductanceを効率的に実装できるか？
• RQ3 Neuron Integrated Gradientsは、DeepLIFTと比較して、重要性割り当ての精度と計算効率の点で優れているか？
• RQ4 提案手法は、実装不変性といった理論的性質を保持しているか。その影響は信頼性にどのように現れるか？

主な発見

• Neuron Integrated Gradientsは、n=10のときMAEが255.53603、n=100のとき255.7105を達成し、アブレーション効果の予測において高い一貫性を示した。
• DeepLIFTはデフォルト設定でMAEが145.73521にまで低下し（p < e-19）、アブレーション結果の予測において優れた実用的性能を示した。
• DeepLIFTの実行時間は15.29601秒、Neuron Integrated Gradientsはn=10のとき564.12058秒を要し、DeepLIFTに顕著な実行時間の優位性が見られた。
• 勾配 × 基準からの差分ベースラインは、飽和効果のため性能が著しく低く、MAEが約255に近い値を示し、信頼性に欠けることが示された。
• Neuron Integrated Gradientsは、DeepLIFTに欠如している理論的性質である実装不変性を継承しており、理論的応用においてより信頼性が高くなる。
• 結果の再現に使用可能なColabノートブックは、http://bit.ly/neuronintegratedgradients で公開されており、完全な再現性が保証されている。