[论文解读] Computationally Efficient Measures of Internal Neuron Importance

Avanti Shrikumar, Jocelin Su+1 more|arXiv (Cornell University)|Jul 26, 2018

Explainable Artificial Intelligence (XAI)参考文献 5被引用 6

一句话总结

本文提出 Neuron Integrated Gradients，一种计算高效且理论严谨的深度神经网络内部神经元重要性归因方法。该方法在理论上证明了总导纳（Total Conductance）与路径积分梯度（Path Integrated Gradients）在隐藏层上等价，从而可通过标准 TensorFlow 操作实现可扩展的计算，并通过实验表明其在理论鲁棒性方面优于 DeepLIFT，同时保持了具有竞争力的实证性能。

ABSTRACT

The challenge of assigning importance to individual neurons in a network is of interest when interpreting deep learning models. In recent work, Dhamdhere et al. proposed Total Conductance, a "natural refinement of Integrated Gradients" for attributing importance to internal neurons. Unfortunately, the authors found that calculating conductance in tensorflow required the addition of several custom gradient operators and did not scale well. In this work, we show that the formula for Total Conductance is mathematically equivalent to Path Integrated Gradients computed on a hidden layer in the network. We provide a scalable implementation of Total Conductance using standard tensorflow gradient operators that we call Neuron Integrated Gradients. We compare Neuron Integrated Gradients to DeepLIFT, a pre-existing computationally efficient approach that is applicable to calculating internal neuron importance. We find that DeepLIFT produces strong empirical results and is faster to compute, but because it lacks the theoretical properties of Neuron Integrated Gradients, it may not always be preferred in practice. Colab notebook reproducing results: http://bit.ly/neuronintegratedgradients

研究动机与目标

• 解决深度网络中内部神经元重要性归因缺乏可扩展且理论严谨方法的问题。
• 解决原始 TensorFlow 实现中总导纳存在的计算低效与实现复杂问题。
• 为现有方法（如 DeepLIFT）提供一种实用、高效且理论合理的内部神经元归因替代方案。
• 通过实证比较 Neuron Integrated Gradients 与 DeepLIFT 及基于梯度的基线方法在准确率与运行时间方面的表现。

提出的方法

• 证明总导纳与隐藏层神经元的路径积分梯度在数学上等价，表明前者是后者的一个特例。
• 通过标准 TensorFlow 梯度算子重新表述总导纳，以实现无需自定义梯度层的高效、可扩展计算。
• 将该方法实现为 Neuron Integrated Gradients，通过从参考输入到实际输入的直线路径积分梯度来计算归因分数。
• 使用全零（黑色）图像作为参考输入，以计算神经元激活的差异。
• 通过减去跨类别平均贡献来实现归一化，以考虑 Softmax 输出之间的相互依赖性。
• 通过消融实验评估归因质量：在将高贡献神经元设为参考值后，测量顶层 Softmax 类别输出的变化。

实验结果

研究问题

• RQ1 总导纳在数学上是否等价于已知的基于梯度的归因方法？如果是，是哪一种？
• RQ2 总导纳能否使用 TensorFlow 等标准深度学习框架高效实现，而无需自定义算子？
• RQ3 Neuron Integrated Gradients 与 DeepLIFT 在归因准确率和计算效率方面有何比较？
• RQ4 所提出的方法是否保持了如实现不变性等理论特性？这对可靠性有何影响？

主要发现

• Neuron Integrated Gradients 在 n=10 时的平均绝对误差（MAE）为 255.53603，在 n=100 时为 255.7105，表明其在预测消融效应方面具有高度一致性。
• DeepLIFT 在默认设置下取得了显著更低的 MAE 值 145.73521（p < e-19），表明其在预测消融结果方面具有更优的实证性能。
• DeepLIFT 运行时间为 15.29601 秒，而 Neuron Integrated Gradients 在 n=10 时耗时 564.12058 秒，显示出 DeepLIFT 在运行时间上的显著优势。
• 梯度 × 与参考值的差异基线表现较差，其 MAE 值接近 255，表明其因饱和效应而不可靠。
• Neuron Integrated Gradients 继承了实现不变性这一理论特性，而 DeepLIFT 缺乏该特性，因此在理论驱动的应用中更具可靠性。
• 用于复现结果的 Colab 笔记本已公开发布于 http://bit.ly/neuronintegratedgradients，确保了结果的完全可复现性。