[论文解读] iNNvestigate neural networks!

Maximilian Alber, Sebastian Lapuschkin+8 more|arXiv (Cornell University)|Aug 13, 2018

Explainable Artificial Intelligence (XAI)参考文献 13被引用 28

一句话总结

该论文介绍了iNNvestigate，一个Python库，为多种神经网络分析方法（包括PatternNet、PatternAttribution和LRP）提供统一接口和基准实现。它通过一致、模块化且可扩展的代码，支持基于扰动的评估，使研究人员能够系统性地比较VGG、ResNet和DenseNet等最先进模型中的可解释性技术。

ABSTRACT

In recent years, deep neural networks have revolutionized many application domains of machine learning and are key components of many critical decision or predictive processes. Therefore, it is crucial that domain specialists can understand and analyze actions and pre- dictions, even of the most complex neural network architectures. Despite these arguments neural networks are often treated as black boxes. In the attempt to alleviate this short- coming many analysis methods were proposed, yet the lack of reference implementations often makes a systematic comparison between the methods a major effort. The presented library iNNvestigate addresses this by providing a common interface and out-of-the- box implementation for many analysis methods, including the reference implementation for PatternNet and PatternAttribution as well as for LRP-methods. To demonstrate the versatility of iNNvestigate, we provide an analysis of image classifications for variety of state-of-the-art neural network architectures.

研究动机与目标

• 解决神经网络解释方法缺乏标准化、可访问实现的问题。
• 实现对多样化神经网络架构中可解释性技术的系统性、可复现比较。
• 为新兴方法（如PatternNet和PatternAttribution）提供基准实现。
• 通过扰动分析（PixelFlipping）支持对分析方法的定量评估。
• 简化可解释性工具在医学、药物发现和自主系统等实际应用中的集成。

提出的方法

• 该库为多种分析方法提供统一接口，用户可使用训练好的Keras模型实例化分析器。
• 基于逐层前向与反向计算的模块化设计，利用自动微分减少代码冗余。
• 每种方法均通过基类与可配置组件的组合实现，支持可扩展性与复用。
• 支持基于梯度的方法（如梯度显著性、SmoothGrad、IntegratedGradients）和非基于梯度的方法（如LRP、DeepTaylor、PatternNet、PatternAttribution）。
• 内置扰动分析实现（PixelFlipping），用于对方法性能进行定量评估。
• 基于Keras构建，使用TensorFlow作为后端，采用MIT许可证开源，可通过pip安装。

实验结果

研究问题

• RQ1 如何对深度神经网络的可解释性方法进行标准化，并使其对研究人员和实践者更加易于访问？
• RQ2 在识别图像分类任务中的显著特征方面，不同解释方法之间的性能差异是什么？
• RQ3 统一的软件框架能否有效支持包括基于梯度与非基于梯度方法在内的多种分析技术？
• RQ4 像PatternNet和PatternAttribution这样的高级方法在大规模场景下训练和应用的效率如何？
• RQ5 扰动分析在在多大程度上能为比较解释方法提供客观基准？

主要发现

• iNNvestigate首次提供了PatternNet和PatternAttribution的基准实现，使这些数据相关方法的训练与分析可复现。
• 该库支持11种分析方法，包括LRP变体（Z、Epsilon、AlphaBeta）、Deconvnet、GuidedBackprop、DeepTaylor，且均通过一致的API访问。
• 模块化架构支持轻松扩展，例如将梯度分析器与平滑包装器结合以实现SmoothGrad。
• 使用单张GPU，PatternNet和PatternAttribution可在一小时内于ImageNet等大规模数据集上完成训练。
• 扰动分析原生支持，可基于特征重要性实现对解释方法的定量、客观比较。
• 该库支持对SOTA模型（如VGG16、ResNet50、InceptionV3、DenseNet、NASNet、InceptionResNetV2）的分析。