[論文レビュー] How Important Is a Neuron?

Kedar Dhamdhere, Mukund Sundararajan+1 more|arXiv (Cornell University)|May 30, 2018

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 45

ひとこと要約

この論文は、深層ネットワークの隠れユニットの重要性を測る統合勾配の理論的拡張である conductance を紹介し、理論的性質、アブレーション、および特徴選択実験を通じて vision と NLP タスクで検証する。

ABSTRACT

The problem of attributing a deep network's prediction to its \emph{input/base} features is well-studied. We introduce the notion of \emph{conductance} to extend the notion of attribution to the understanding the importance of \emph{hidden} units. Informally, the conductance of a hidden unit of a deep network is the \emph{flow} of attribution via this hidden unit. We use conductance to understand the importance of a hidden unit to the prediction for a specific input, or over a set of inputs. We evaluate the effectiveness of conductance in multiple ways, including theoretical properties, ablation studies, and a feature selection task. The empirical evaluations are done using the Inception network over ImageNet data, and a sentiment analysis network over reviews. In both cases, we demonstrate the effectiveness of conductance in identifying interesting insights about the internal workings of these networks.

研究の動機と目的

• 活性化や勾配ベースの代理指標を超えて、隠れユニットの重要性を定量化する必要性を動機づける。
• 隠れユニットへの principled な拡張として conductance を提案する。
• conductance を理論的に望ましい性質として確立し、アブレーションと特徴選択によって経験的に検証する。

提案手法

• 隠れユニットを通じた Integrated Gradients の寄与の流れを連鎖律（式 2 および 3）を用いて定義する。
• 入力の基準値を用い、入力座標を足し合わせることで、Integrated Gradients に基づくアプローチを地固めする。
• conductance を Activation、Gradient*Activation、Internal Influence と比較し、理論的評価と経験的評価の両方で比較する。
• 予測変化と conductance の関係を関連付けるためのアブレーション研究を実施し、特徴選択の有用性を評価する。
• Inception（ImageNet）と感情分析ネットワークに本手法を適用し、解釈可能性の洞察と高 conductance ユニットの予測力を実証する。

実験結果

リサーチクエスチョン

• RQ1 conductance は特定の予測に対する個々の hidden unit の寄与を信頼性高く示せるか。
• RQ2 理論的性質と経験的挙動の観点から、conductance は既存のアトリビューション手法とどう比較されるか。
• RQ3 高 conductance 隠れユニットはアブレーションベースの重要性およびクラス特異的特徴と整合するか。
• RQ4 視覚と言語タスクで、入力とクラス全体の特徴選択に対して conductance は有用か。

主な発見

方法	5 特徴	10 特徴	15 特徴	20 特徴
Water vessels task: Activations	54.76	61.90	65.48	69.05
Water vessels task: Gradient*Activation	67.86	83.33	85.71	88.10
Water vessels task: Influence	50.00	67.86	73.81	75.00
Water vessels task: Conductance	88.10	94.05	96.43	94.05
Random labels task: Activations	46.52	48.51	55.81	60.45
Random labels task: Gradient*Activation	56.94	76.01	79.74	84.39
Random labels task: Influence	48.50	62.23	71.37	72.50
Random labels task: Conductance	68.85	81.58	85.99	87.79
Aggregate over 4 tasks

• conductance は hidden unit への Integrated Gradients の拡張として、完全性と Layerwise Conservation を満たし、競合手法の中には満たさないものもある。
• Inception の高 conductance フィルターは、アブレーションで予測を変えることができるフィルターの小さなサブセット（5484 個中 5–10 個）を識別し、これらのユニットの実用的な重要性を示す。
• クラス内の画像全体での高い平均 conductance を持つフィルターは、そのクラスの予測に高度に結びつくことが多く、解釈性と転移可能性を支持する。
• 感情モデルでは、多くのフィルターが個々の入力に対して影響力を持ち、ほとんどのフィルターが正・負感情のいずれかを支持し、いくつかは否定を捕捉する division of labor を明らかにする。
• conductance はアブレーションと実際の予測変化の相関や、クラス／ラベル特徴選択タスクにおいて Activation、Gradient*Activation、Internal Influence より優れている。
• 本手法は意味的に有意なパターン（例：否定の扱い）を明らかにし、タスクを横断して頑健で符号を正しく付与する寄与を提供する。