[论文解读] A Forward-Backward Approach for Visualizing Information Flow in Deep Networks

Aditya Balu, Thanh V. Nguyen+3 more|arXiv (Cornell University)|Nov 16, 2017

Explainable Artificial Intelligence (XAI)参考文献 5被引用 6

一句话总结

本文提出了一种新颖的前向-后向可解释性（FBI）框架，用于可视化深度卷积网络中的信息流，通过矩阵伴随运算和自适应掩码将前向激活与反向传播相结合，生成高分辨率、数值稳定的显著性图。该方法在无需参考图像或复杂优化的情况下，通过减少噪声并提高可解释性，优于基于梯度的方法（如引导反向传播）。

ABSTRACT

We introduce a new, systematic framework for visualizing information flow in deep networks. Specifically, given any trained deep convolutional network model and a given test image, our method produces a compact support in the image domain that corresponds to a (high-resolution) feature that contributes to the given explanation. Our method is both computationally efficient as well as numerically robust. We present several preliminary numerical results that support the benefits of our framework over existing methods.

研究动机与目标

• 为解决深度神经网络中的可解释性挑战，特别是图像中目标检测任务的可解释性问题。
• 克服现有基于梯度方法的局限性，如梯度消失/爆炸问题以及高计算成本。
• 消除某些梯度稳定化技术中对任意参考图像的依赖。
• 生成高分辨率、稀疏且数值稳定的显著性图，以突出显示与特定类别预测相关的图像区域。
• 以合理且计算高效的方式，系统性地整合前向特征激活与后向信息流。

提出的方法

• 该方法执行两次前向传播：一次用于计算前向激活，另一次通过伴随运算将特定类别的梯度反向传播。
• 在每一层，通过将后向激活与前向激活进行阈值化逐元素乘积进行掩码处理，仅保留相关特征。
• 通过在感受野内复制池化特征图的值来执行上采样，从而保留空间结构，并相比DeconvNet减少稀疏性。
• 使用权重翻转的转置卷积执行去卷积操作，以重建像素级的显著性图。
• 该过程按层逐层进行，仅基于总激活幅度选择前k个贡献最大的特征图。
• 最终输出为像素空间中的稀疏支持，对应于预测类别下最显著的特征。

实验结果

研究问题

• RQ1 前向-后向框架能否生成比基于梯度的方法更高分辨率且更稳定的显著性图？
• RQ2 如何系统性地将前向激活与后向流结合，以提升可解释性并减少噪声？
• RQ3 能否在不依赖参考图像的前提下消除梯度稳定化中的参考图像需求，同时保持数值鲁棒性？
• RQ4 使用前向激活对后向激活进行掩码处理在多大程度上能改善特征定位精度和稀疏性？
• RQ5 选择前k个滤波器对最终可视化结果的质量和判别性有何影响？

主要发现

• 与引导反向传播相比，FBI方法在高分辨率图像区域中产生的可视化结果噪声更少。
• 当使用前50%的最高激活特征图，并将前向-后向掩码的阈值设为10.0时，可生成视觉上连贯且具有判别力的显著性图。
• 当使用100%的滤波器且不进行阈值化时，该方法的性能与DeconvNet相当，但具有更高的鲁棒性和更低的噪声。
• 该框架计算效率高，每个输入图像仅需在网络中进行两次前向传播。
• 该方法通过依赖矩阵伴随运算和阈值化而非反向传播梯度，避免了梯度消失/爆炸问题。
• 生成的显著性图稀疏且可解释，其稀疏性由阈值参数τ控制。