[论文解读] Convolutional Neural Network Interpretability with General Pattern Theory

Erico Tjoa, Cuntai Guan|arXiv (Cornell University)|Feb 5, 2021

Explainable Artificial Intelligence (XAI)参考文献 25被引用 4

一句话总结

本文提出GPTNet，一种结合ResNet与U-Net组件的混合CNN架构，通过通用模式理论（GPT）实现深度学习中的组件级可解释性。通过将图像建模为可学习生成器的配置，该方法可为每个生成器生成局部热力图，相较于标准XAI技术提升了可解释性，并在精确空间对齐下有效重建了基于GPT的合成MNIST数据。

ABSTRACT

Ongoing efforts to understand deep neural networks (DNN) have provided many insights, but DNNs remain incompletely understood. Improving DNN's interpretability has practical benefits, such as more accountable usage, better algorithm maintenance and improvement. The complexity of dataset structure may contribute to the difficulty in solving interpretability problem arising from DNN's black-box mechanism. Thus, we propose to use pattern theory formulated by Ulf Grenander, in which data can be described as configurations of fundamental objects that allow us to investigate convolutional neural network's (CNN) interpretability in a component-wise manner. Specifically, U-Net-like structure is formed by attaching expansion blocks (EB) to ResNet, allowing it to perform semantic segmentation-like tasks at its EB output channels designed to be compatible with pattern theory's configurations. Through these modules, some heatmap-based explainable artificial intelligence (XAI) methods will be shown to extract explanations w.r.t individual generators that make up a single data sample, potentially reducing the impact of dataset's complexity to interpretability problem. The MNIST-equivalent dataset containing pattern theory's elements is designed to facilitate smoother entry into this framework, along which the theory's generative aspect is naturally presented.

研究动机与目标

• 通过将解释建立在基本数据结构之上，解决深度神经网络（DNN）的可解释性挑战。
• 通过将数据建模为离散生成器的配置，降低数据集复杂性对DNN可解释性的影响。
• 通过一种新型架构结合分类与语义分割能力，实现组件级解释。
• 使用基于GPT原则构建的合成MNIST类数据集验证该框架。
• 在统一的、理论驱动的可解释性框架下，评估并比较XAI方法。

提出的方法

• 提出GPTNet，一种混合架构，结合ResNet用于分类，以及类似U-Net的扩展块（EBs）用于生成器配置预测。
• 设计一种基于GPT的数据集（GPT MNIST），其中每张图像均为有限生成器在晶格上的配置，空间位置与键值由拓扑矩阵定义。
• 训练GPTNet以联合执行图像分类与生成器配置预测，通过热力图实现组件级归因。
• 对扩展块输出应用标准XAI方法（如Grad-CAM、Guided Backprop、Deconvolution），生成特定于生成器的热力图。
• 使用增长函数从提取的生成器重建图像，验证所学配置的生成一致性。
• 采用空间概率分布与扰动分析，评估组件级解释的保真度与鲁棒性。

实验结果

研究问题

• RQ1 能否通过将数据建模为基本生成器的配置，构建深度神经网络以生成局部化、组件级的解释？
• RQ2 当应用于专为生成器级别可解释性设计的网络架构时，不同XAI方法的表现如何？
• RQ3 该模型在在多大程度上能从提取的生成器配置中重建图像，从而反映所学表征的质量？
• RQ4 与标准经验性XAI相比，使用理论基础的数据结构（GPT）是否能提升可解释结果的可靠性与一致性？
• RQ5 当在合成的、GPT结构化的数据集上训练时，该模型能否泛化到自然图像数据？

主要发现

• GPTNet成功为单个生成器生成了局部热力图，展示了超越标准XAI方法（如Grad-CAM）在特异性方面的组件级可解释性。
• Guided Backprop与Deconvolution生成的热力图比Grad-CAM更少噪声，且在生成器级别解释（SRC度量）上表现更优，尽管Guided Backprop在标准标签解释上表现较差。
• 该模型在GPT MNIST数据集上实现了高保真度的图像重建，证实所学配置准确反映了生成过程。
• 在原始MNIST数据上重建失败，表明该模型在未进行迁移学习或微调的情况下，尚未泛化到自然图像分布。
• 扰动分析表明，网络对生成器级别变化的响应与预期行为一致，验证了解释的空间精确性。
• 通过将提取的配置演化回图像，验证了模型的生成能力，确认其能够逆向执行生成过程。