[论文解读] Learning Important Features Through Propagating Activation Differences

Avanti Shrikumar, Peyton Greenside+1 more|arXiv (Cornell University)|Apr 10, 2017

Explainable Artificial Intelligence (XAI)参考文献 12被引用 2,365

一句话总结

DeepLIFT 通过将参考差异向网络反向传播来分配输入特征的重要性，揭示正向/负向贡献并解决梯度饱和问题。

ABSTRACT

The purported "black box" nature of neural networks is a barrier to adoption in applications where interpretability is essential. Here we present DeepLIFT (Deep Learning Important FeaTures), a method for decomposing the output prediction of a neural network on a specific input by backpropagating the contributions of all neurons in the network to every feature of the input. DeepLIFT compares the activation of each neuron to its 'reference activation' and assigns contribution scores according to the difference. By optionally giving separate consideration to positive and negative contributions, DeepLIFT can also reveal dependencies which are missed by other approaches. Scores can be computed efficiently in a single backward pass. We apply DeepLIFT to models trained on MNIST and simulated genomic data, and show significant advantages over gradient-based methods. Video tutorial: http://goo.gl/qKb7pL, ICML slides: bit.ly/deeplifticmlslides, ICML talk: https://vimeo.com/238275076, code: http://goo.gl/RM8jvH.

研究动机与目标

• 在透明性至关重要的场景中提升神经网络的可解释性。
• 将 DeepLIFT 介绍为一种基于参考差异的重要性评分方法。
• 解决基于梯度的方法在饱和和不连续性等方面的局限性。
• 提出将正向/负向贡献分离以获得更丰富解释的规则。
• 展示在视觉与基因组任务中的高效性及适用性。

提出的方法

• 将重要性分数定义为等于参考差异（Delta t）的贡献之和。
• 引入乘子 m_{Delta x Delta t}，通过网络传播差异（乘子的链式法则）。
• 通过选择一个参考输入并从中计算神经元激活来指定参考激活 y^0。
• 允许分别跟踪 Delta y^+ 和 Delta y^- 以捕捉正向/负向贡献。
• 给出线性、重新缩放（Rescale）和 RevealCancel 规则，以在每个神经元处分配贡献。
• 概述如何在单次反向传播中计算分数，类似于反向传播。

实验结果

研究问题

• RQ1 当梯度由于饱和或不连续而为零或不稳定时，重要性分数能否被传播和解释？
• RQ2 基于参考差异的分数（DeepLIFT）在视觉和基因组任务中是否比基于梯度的方法产生更可信的特征归因？
• RQ3 正向/负向贡献分离与 RevealCancel 如何提升归因质量？
• RQ4 哪些参考选择能够在不同领域产生稳健、可解释的解释？

主要发现

• DeepLIFT 即使在梯度消失的情况下也能传播有信息量的归因，避免饱和伪影。
• RevealCancel 并分离正向/负向贡献可提高与合乎意义的基序在合成基因组数据和 MNIST 数字混淆任务中的对齐度。
• 在 MNIST 上，带 RevealCancel 的 DeepLIFT 在识别应翻转以使数字跨类的像素方面优于基于梯度的方法。
• 在调控 DNA 的模拟中，DeepLIFT 变体（尤其是带 RevealCancel 的）比梯度方法更可靠地突出真实的基序模式。
• Integrated Gradients 和 gradient×input 在 MNIST 上表现相近，但在基序发现任务上落后，显示出领域相关的优势。
• 该方法实现了高效的单次后向传播计算，并提供了一个有原则的基于参考的解释框架。