[論文レビュー] Not Just a Black Box: Learning Important Features Through Propagating Activation Differences

Avanti Shrikumar, Peyton Greenside+2 more|arXiv (Cornell University)|May 5, 2016

Explainable Artificial Intelligence (XAI)参考文献 7被引用数 549

ひとこと要約

本論文は DeepLIFT を紹介します。これは参照活性化と比較することによってニューロンの活性化を測定し、勾配ベースのサリエンシー手法の限界に対処する特徴重要度を計算する方法です。

ABSTRACT

Note: This paper describes an older version of DeepLIFT. See https://arxiv.org/abs/1704.02685 for the newer version. Original abstract follows: The purported "black box" nature of neural networks is a barrier to adoption in applications where interpretability is essential. Here we present DeepLIFT (Learning Important FeaTures), an efficient and effective method for computing importance scores in a neural network. DeepLIFT compares the activation of each neuron to its 'reference activation' and assigns contribution scores according to the difference. We apply DeepLIFT to models trained on natural images and genomic data, and show significant advantages over gradient-based methods.

研究の動機と目的

• 信頼と発見を必要とする応用分野で解釈可能なニューラルネットワークの必要性を動機づける。
• 参照活性化と比較することにより特徴重要度を割り当てる効率的な方法を提案する。
• 勾配ベースのサリエンシー手法の限界、特に非発火 ReLU や飽和活性化に対処する。
• DeepLIFT を画像のようなデータとゲノムデータに適用し、勾配ベースのアプローチよりも利点を示す。

提案手法

• 寄与スコア C_xy を、 delta_n = A_n - A_n^0 を持つ参照活性化 A_n^0 に対するニューロン x がニューロン y に与える影響として定義する。
• 二つの性質を満たすよう強制する： delta への総和（y への寄与の総和は delta_y に等しい）と、ネットワーク層間の線形組成。
• C_xy = m_xy * delta_x によりバックプロパゴーション様の乗数 m_xy を介して寄与を計算する。m_xt は式 (3)-(5) から出力を用いて導出される。
• アファイン、マックス、マックスアウト、その他の活性化のための具体的なルールを提供して m_xy を得る（例：affine では m_xy = w_xy、max では m_xy = indicator{A_x = A_y} * delta_y/delta_x など）。
• 特殊な活性化と実務上の配慮（softmax 正規化、制約付き入力の重み正規化、softmax 減衰）に対処して、安定して意味のあるスコアを生み出す。

実験結果

リサーチクエスチョン

• RQ1 参照入力からの活性化差分は、ニューラルネットワークにおける勾配よりも信頼性の高い特徴重要度を提供できるのか。
• RQ2 バックプロパゲーション様の枠組みで、一般的な活性化（ReLU、シグモイド、tanh、maxout）および特殊層（softmax、プーリング）とともに特徴の帰属を効率的に計算できるのか。
• RQ3 DeepLIFT のスコアは、画像とゲノム配列の重要なパターンを勾配ベースのサリエンシー手法よりも良く識別するのか。
• RQ4 参照活性化と正規化の選択が帰属結果と安定性にどう影響するのか。

主な発見

• DeepLIFT は、参照活性化とニューロンの活性化を比較することによって帰属スコアを提供し、ゼロ勾配の盲点を回避します。
• この手法は delta への総和の性質を保持し、層間の線形組成をサポートするため、寄与のバックプロパゲーション様計算を可能にします。
• Tiny ImageNet とゲノム配列への適用では、DeepLIFT は勾配ベースの手法が見逃しがちな有益な特徴を強調します（例：特定の DNA 配列パターン）。
• 等価性の結果は、活性化が区分的に線形でありバイアスが含まれる場合、gradient*input が Layer-Wise Relevance Propagation に対応することを示しますが、参照が非ゼロであることから DeepLIFT は実践的に利点を提供します。
• 制約付き入力の重量正規化と softmax に配慮した調整は、一般的なアーキテクチャにおける帰属信頼性を向上させる。