[论文解读] What Do Deep Nets Learn? Class-wise Patterns Revealed in the Input Space

Shihao Zhao, Xingjun Ma+4 more|arXiv (Cornell University)|Jan 18, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用 9

一句话总结

本文提出一种直接在输入（像素）空间中可视化深度神经网络（DNNs）所学习的类别特定模式的方法，揭示了DNNs会为每个类别记忆单个、具有预测性的模式。关键发现是，即使在干净训练的DNN中也会学习到类似后门的触发器，而经过对抗训练的模型则会学习到简化且鲁棒的形状模式，为理解DNN的可解释性与脆弱性提供了新见解。

ABSTRACT

Deep neural networks (DNNs) are increasingly deployed in different applications to achieve state-of-the-art performance. However, they are often applied as a black box with limited understanding of what knowledge the model has learned from the data. In this paper, we focus on image classification and propose a method to visualize and understand the class-wise knowledge (patterns) learned by DNNs under three different settings including natural, backdoor and adversarial. Different to existing visualization methods, our method searches for a single predictive pattern in the pixel space to represent the knowledge learned by the model for each class. Based on the proposed method, we show that DNNs trained on natural (clean) data learn abstract shapes along with some texture, and backdoored models learn a suspicious pattern for the backdoored class. Interestingly, the phenomenon that DNNs can learn a single predictive pattern for each class indicates that DNNs can learn a backdoor even from clean data, and the pattern itself is a backdoor trigger. In the adversarial setting, we show that adversarially trained models tend to learn more simplified shape patterns. Our method can serve as a useful tool to better understand the knowledge learned by DNNs on different datasets under different settings.

研究动机与目标

• 开发一种在输入（像素）空间中可视化DNN所学习的类别特定知识的方法，而非在特征空间或激活空间中。
• 研究在干净数据上训练的DNN是否会学习到内在的“后门”模式，从而可能引发成功的后门攻击。
• 考察对抗训练如何影响DNN所学习的模式类型，特别是形状的简洁性与鲁棒性。
• 提供一种工具以解释DNN行为，识别偏差，并改进防御机制。

提出的方法

• 该方法在画布图像中搜索一个单一、局部化的模式，当该模式被附加到任何非目标类别图像上时，能使DNN以高置信度预测目标类别。
• 将搜索过程建模为对像素值的优化问题，最大化模型对目标类别的预测得分，同时保持模式的最小化和局部化。
• 该方法直接在像素空间中运行，可实现对所学模式的直观解释，无需依赖特征图或注意力机制。
• 在三种设置下应用该方法：自然训练、后门训练和对抗训练，以比较不同模式的特性。
• 通过在不同模型上评估模式的预测能力，实现可迁移性分析。
• 利用模型置信度得分和基于梯度的优化，识别每个类别下具有高度预测性的像素模式。

实验结果

研究问题

• RQ1 在自然数据上训练的DNN是否会在输入空间中为每个类别学习到一个单一、一致且具有预测性的模式？
• RQ2 所提出的方法能否在后门模型中揭示后门触发器模式？是否能暴露干净模型中的固有漏洞？
• RQ3 与自然训练模型相比，对抗训练的DNN在所学习的模式上有何不同？
• RQ4 DNN所学习的模式是否反映了鲁棒特征，还是非鲁棒的、基于纹理的偏差？

主要发现

• 在自然数据上训练的DNN会在输入空间中学习到一致的、类别特定的模式，这些模式结合了抽象形状与纹理，表明存在一种记忆化现象。
• 干净模型中存在此类模式，意味着其本质上包含“后门”，因为这些模式可被利用以高成功率误导分类结果。
• 后门模型学习到了可疑的、局部化的触发器模式，与预期的后门行为一致，证实了该方法在检测中的有效性。
• 对抗训练的DNN相比自然模型，学习到了更简化、更密集连接的形状模式，表明其鲁棒性有所提升。
• 在扰动数据集（如${\mathcal{D}}_R$）上进行鲁棒训练的模型，其学习到的模式背景噪声减少，但可能丢失关键物体形状组件，存在泛化风险。
• 模式的预测能力在不同模型之间具有可迁移性，迁移率表明所学模式具有较强的泛化能力。