[論文レビュー] Learning Important Features Through Propagating Activation Differences

Avanti Shrikumar, Peyton Greenside+1 more|arXiv (Cornell University)|Apr 10, 2017

Explainable Artificial Intelligence (XAI)参考文献 12被引用数 2,365

ひとこと要約

DeepLIFTは、参照値との差をネットワークに逆伝播させることにより入力特徴量の重要度を割り当て、正負の寄与を明らかにし、勾配飽和に対処します。

ABSTRACT

The purported "black box" nature of neural networks is a barrier to adoption in applications where interpretability is essential. Here we present DeepLIFT (Deep Learning Important FeaTures), a method for decomposing the output prediction of a neural network on a specific input by backpropagating the contributions of all neurons in the network to every feature of the input. DeepLIFT compares the activation of each neuron to its 'reference activation' and assigns contribution scores according to the difference. By optionally giving separate consideration to positive and negative contributions, DeepLIFT can also reveal dependencies which are missed by other approaches. Scores can be computed efficiently in a single backward pass. We apply DeepLIFT to models trained on MNIST and simulated genomic data, and show significant advantages over gradient-based methods. Video tutorial: http://goo.gl/qKb7pL, ICML slides: bit.ly/deeplifticmlslides, ICML talk: https://vimeo.com/238275076, code: http://goo.gl/RM8jvH.

研究の動機と目的

• 透明性が重要なニューラルネットの解釈性を動機づける。
• 差分-from-referenceベースの重要度スコアリング手法としてDeepLIFTを導入する。
• 飽和や不連続性といった勾配ベースのアプローチの制限に対処する。
• より豊かな説明のために正/負の寄与を分離するルールを提案する。
• 視覚とゲノムタスクへの効率性と適用性を示す。

提案手法

• 重要度スコアを差分-from-reference（Delta t）に和の寄与として定義する。
• 差分をネットワーク内に伝播させる乗数 m_{Delta x Delta t} を導入する（乗数の連鎖律）。
• 参照入力を選択し、それからニューロンの活性化を計算することで参照アクティベーション y^0 を指定する。
• 正の寄与と負の寄与を別々に追跡できるよう Delta y^+ および Delta y^- を分離して捕捉する。
• 各ニューロンに寄与を割り当てるための Linear、Rescale、RevealCancel ルールを提示する。
• バックプロパゲーションに似た1回の逆伝播パスでスコアを計算する方法を概説する。

実験結果

リサーチクエスチョン

• RQ1 勾配がゼロまたは飽和・不連続性のため不安定な場合に、重要度スコアは伝播され解釈できるか？
• RQ2 差分-from-referenceベースのスコア（DeepLIFT）は、視覚領域とゲノムタスクで勾配ベースの方法よりも忠実な特徴寄与を生み出すか？
• RQ3 正/負の寄与の分離とRevealCancelは寄与品質をどう改善するか？
• RQ4 どの参照の選択が、領域を超えて頑健で解釈可能な説明を生むか？

主な発見

• DeepLIFTは勾配が消失しても有益な寄与を伝播でき、飽和アーティファクトを回避する。
• RevealCancelと正/負の寄与の分離は、合成ゲノムデータとMNISTの数字混同タスクにおいて意味のあるモチーフと整合性を改善する。
• MNISTでは、RevealCancelを用いたDeepLIFTが勾配ベースの方法よりもクラス間で数字を反転させるピクセルの特定で優れていた。
• 規制DNAシミュレーションでは、特にRevealCancelを用いたDeepLIFTの派生が、勾配ベースの方法より真のモチーフパターンをより信頼性高く強調した。
• Integrated Gradientsとgradient×inputはMNISTで比較的同等だったが、モチーフ発見タスクでは領域依存の利点を示す。
• 本手法は効率的な単一パス計算を可能にし、原理的な参照ベースの説明フレームワークを提供する。