[论文解读] Explaining Neural Networks via Perturbing Important Learned Features.

Ashkan Khakzar, Soroosh Baselizadeh+3 more|arXiv (Cornell University)|Nov 25, 2019

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文提出 PruneGrad，一种新颖的输入特征归因方法，通过识别重要的隐藏神经元（即学习到的特征）并仅保留这些神经元来扰动输入，以最大化输出变化。通过聚焦于高层特征，该方法捕捉了输入元素之间的相互依赖关系，在三个基准测试中均实现了最先进性能：合理性检查、像素扰动和移除并微调（ROAR）。

ABSTRACT

Attributing the output of a neural network to the contribution of given input elements is one way of shedding light on the black box nature of neural networks. We propose a novel input feature attribution method that finds an input perturbation that maximally changes the output neuron by exclusively perturbing important hidden neurons (i.e. learned features) on the path to output neuron. Given an input, this is achieved by 1) pruning unimportant neurons, and subsequently 2) finding a local input perturbation that maximizes the output in the pruned network. Since our method considers the importance of hidden neurons (high-level features), it inherently considers interdependencies between multiple input elements, which is vital for input feature attribution. We propose PruneGrad, an efficient gradient-based solution for the pruning and perturbation steps of our method. The efficacy of our method is evaluated by quantitatively benchmarking against other attribution methods using 1) sanity checks, 2) pixel perturbation, and 3) Remove and Retrain (ROAR). Our results show that while most of the existing attribution methods are prone to fail or get mediocre results in at least one benchmark, our proposed method achieves state of the art results in all three benchmarks. The results are further supported by comparative visual evaluation.

研究动机与目标

• 解决现有输入特征归因方法无法捕捉输入元素之间相互依赖关系的局限性。
• 开发一种通过聚焦于高层重要隐藏神经元而非原始输入特征来归因模型输出的方法。
• 通过合理剪枝与基于梯度的扰动，提升归因的鲁棒性与可靠性。
• 通过包括合理性检查、像素扰动和移除并微调（ROAR）在内的多个基准，对方法进行全面评估。

提出的方法

• 该方法首先根据隐藏神经元对输出神经元的贡献程度剪枝不重要的神经元，仅保留最重要的特征。
• 随后在剪枝后的网络中执行局部输入扰动，以最大化输出变化，聚焦于影响保留特征的输入。
• PruneGrad 使用基于梯度的优化方法，高效计算扰动，同时保持剪枝后的网络结构。
• 该方法通过在高层特征上操作而非单个输入单元，天然地建模了输入元素之间的相互依赖关系。
• 它利用网络的内部表征，引导扰动朝向语义上有意义的输入变化。
• 该方法设计高效且可扩展，可应用于大型神经网络。

实验结果

研究问题

• RQ1 一种在学习到的隐藏神经元上操作的特征归因方法，是否能在捕捉有意义的输入贡献方面优于现有方法？
• RQ2 该方法在严格的合理性检查中表现如何，以测试归因的可靠性？
• RQ3 当输入特征被移除并重新训练模型时（ROAR基准），该方法的性能保持程度如何？
• RQ4 与基于原始输入特征的方法相比，该方法是否更有效地捕捉了输入元素之间的相互依赖关系？
• RQ5 与最先进归因技术相比，该方法在定量和定性层面表现如何？

主要发现

• PruneGrad 在三个基准测试中均实现了最先进性能：合理性检查、像素扰动和移除并微调（ROAR）。
• 与大多数现有方法不同，PruneGrad 在三个评估基准中均未失败或表现平庸。
• 该方法展现出卓越的鲁棒性，表现为在多种评估协议下均保持一致的高性能。
• 可视化评估证实，与基线方法相比，PruneGrad 生成的归因图更合理且语义上更有意义。
• 该方法通过在高层特征上操作而非单个像素或输入单元，有效捕捉了输入元素之间的相互依赖关系。
• 消融研究证实，在扰动前剪枝重要神经元对实现准确归因至关重要。