[论文解读] How Important Is a Neuron?

Kedar Dhamdhere, Mukund Sundararajan+1 more|arXiv (Cornell University)|May 30, 2018

Explainable Artificial Intelligence (XAI)参考文献 17被引用 45

一句话总结

该论文引入了 conductance，这是对 Integrated Gradients 的理论化扩展，用于衡量深度网络中隐藏单元的重要性，并通过理论性质、消融实验和特征选择实验在视觉与自然语言处理任务中进行验证。

ABSTRACT

The problem of attributing a deep network's prediction to its \emph{input/base} features is well-studied. We introduce the notion of \emph{conductance} to extend the notion of attribution to the understanding the importance of \emph{hidden} units. Informally, the conductance of a hidden unit of a deep network is the \emph{flow} of attribution via this hidden unit. We use conductance to understand the importance of a hidden unit to the prediction for a specific input, or over a set of inputs. We evaluate the effectiveness of conductance in multiple ways, including theoretical properties, ablation studies, and a feature selection task. The empirical evaluations are done using the Inception network over ImageNet data, and a sentiment analysis network over reviews. In both cases, we demonstrate the effectiveness of conductance in identifying interesting insights about the internal workings of these networks.

研究动机与目标

• 需要量化隐藏单元重要性，超越仅依赖激活或梯度的代理。
• 提出 conductance 作为对隐藏单元的 Integrated Gradients 的 principled 扩展。
• 从理论上确立期望属性，并通过消融和特征选择对 conductance 进行实证验证。

提出的方法

• 将 conductance 定义为通过链式法则将 Integrated Gradients 指注的流向隐藏单元（等式 2 与 3）。
• 以 Integrated Gradients 为基础，使用输入基线并对输入坐标求和。
• 将 conductance 与 Activation、Gradient*Activation 与 Internal Influence 进行理论与经验评估对比。
• 进行消融研究以将 conductance 与预测变化相关联，并评估其在特征选择中的有用性。
• 将该方法应用于 Inception（ImageNet）和一个情感分析网络，以展示可解释性洞见和高 conductance 单元的预测能力。

实验结果

研究问题

• RQ1 conductance 是否能可靠地指示单个隐藏单元对特定预测的贡献？
• RQ2 与现有归因方法相比，conductance 在理论属性与经验行为方面有何差异？
• RQ3 高 conductance 的隐藏单元是否与消融重要性及真实网络中的类别特征对齐？
• RQ4 conductance 是否有助于在视觉与语言任务中对输入和类别进行特征选择？

主要发现

Method	5 features	10 features	15 features	20 features
Water vessels task: Activations	54.76	61.90	65.48	69.05
Water vessels task: Gradient*Activation	67.86	83.33	85.71	88.10
Water vessels task: Influence	50.00	67.86	73.81	75.00
Water vessels task: Conductance	88.10	94.05	96.43	94.05
Random labels task: Activations	46.52	48.51	55.81	60.45
Random labels task: Gradient*Activation	56.94	76.01	79.74	84.39
Random labels task: Influence	48.50	62.23	71.37	72.50
Random labels task: Conductance	68.85	81.58	85.99	87.79
Aggregate over 4 tasks

• conductance 将 Integrated Gradients 扩展到隐藏单元，具备完整性与 Layerwise Conservation，而非某些竞争方法所具备的特性。
• Inception 中的高 conductance 过滤器识别出少量过滤器（5–10/5484）在消融时可改变预测，显示这些单元的实际重要性。
• 在一个类别的图像上具有较高平均 conductance 的过滤器高度预测该类别，支持可解释性与可迁移性。
• 在情感模型中，许多过滤器对单个输入具有影响力，揭示了工作分工：大多数过滤器偏向正向或负向情感，部分捕捉否定。
• conductance 在消融与实际预测变化的相关性以及在类别/标签特征选择任务中的表现，优于 Activation、Gradient*Activation 与 Internal Influence。
• 该方法揭示了语义上有意义的模式（如否定处理），在跨任务中提供稳健且符号正确的归因。