[论文解读] Attribution Preservation in Network Compression for Reliable Network Interpretation

Geondo Park, June Yong Yang+2 more|arXiv (Cornell University)|Oct 28, 2020

Advanced Graph Neural Networks参考文献 29被引用 6

一句话总结

本文提出了一种新颖的、注重归因的神经网络压缩框架，通过引入加权坍缩归因匹配正则化项，在模型压缩过程中保留输入归因。该方法确保压缩后的网络生成的归因图与原始完整网络几乎完全一致，显著减少了归因失真，同时保持了预测精度，该方法在多个压缩技术与归因方法在基准数据集上的验证中表现优异。

ABSTRACT

Neural networks embedded in safety-sensitive applications such as self-driving cars and wearable health monitors rely on two important techniques: input attribution for hindsight analysis and network compression to reduce its size for edge-computing. In this paper, we show that these seemingly unrelated techniques conflict with each other as network compression deforms the produced attributions, which could lead to dire consequences for mission-critical applications. This phenomenon arises due to the fact that conventional network compression methods only preserve the predictions of the network while ignoring the quality of the attributions. To combat the attribution inconsistency problem, we present a framework that can preserve the attributions while compressing a network. By employing the Weighted Collapsed Attribution Matching regularizer, we match the attribution maps of the network being compressed to its pre-compression former self. We demonstrate the effectiveness of our algorithm both quantitatively and qualitatively on diverse compression methods.

研究动机与目标

• 识别并解决压缩深度神经网络中归因失真这一关键问题，该问题会损害安全关键应用中模型的可信度。
• 证明即使在预测性能保持不变的情况下，传统网络压缩技术仍会降低归因质量。
• 开发一种统一框架，在不牺牲模型效率或预测精度的前提下，保留压缩过程中的归因图。
• 在多种压缩方法（剪枝、蒸馏）和归因技术（Grad-CAM、LRP、Excitation Backprop、RAP）上验证所提方法的有效性。

提出的方法

• 引入一种加权坍缩归因匹配正则化项，将压缩网络的归因图与原始完整网络（教师模型）的归因图对齐。
• 该正则化项最小化学生网络（压缩网络）与教师网络（原始网络）归因图之间的L2距离，重点关注空间对应关系与峰值定位。
• 通过将正则化项整合到训练目标中，该方法与多种压缩技术兼容，包括知识蒸馏以及结构化/非结构化剪枝。
• 该框架采用端到端训练，使压缩网络能够同时学习准确的预测与忠实的归因。
• 即使对于不可微的归因方法，该方法也有效，因为它利用基于梯度的归因图作为决策关键区域的代理。
• 采用AUC和点精度指标对方法进行评估，以量化归因定位质量相对于真实分割结果的优劣。

实验结果

研究问题

• RQ1 当预测精度保持不变时，网络压缩是否仍会降低输入归因的质量？
• RQ2 能否设计一种统一的正则化项，以在知识蒸馏和剪枝等多样化压缩方法中保留归因？
• RQ3 与标准压缩技术相比，所提方法在多大程度上改善了归因定位？
• RQ4 归因保留的优势是否也适用于如LRP和Excitation Backprop等非梯度归因方法？

主要发现

• 采用所提方法的知识蒸馏在AUC上达到88.06，点精度为79.12，显著优于朴素蒸馏方法（AUC：78.74，点精度：67.26）。
• 在结构化剪枝中，AUC从79.98提升至82.15，点精度从75.29提升至77.43，表明改进效果一致。
• 所提方法在多种归因方法中均保持了高质量的归因：Grad-CAM（AUC：88.06 vs. 78.74）、LRP（AUC：82.46 vs. 79.60）和RAP（AUC：83.53 vs. 80.85）。
• 即使对于LRP和Excitation Backprop等不可微方法，归因质量也得到显著提升，表明正则化项具有良好的泛化能力。
• 定性分析显示，所提方法生成的归因图与教师网络的归因图最为接近，峰值归因始终位于分割边界内。
• 该方法有效减少了归因失真，表现为在所有评估设置中AUC和点精度均持续提升。