[论文解读] Hold me tight! Influence of discriminative features on deep network boundaries

Guillermo Ortiz-Jiménez, Apostolos Modas+2 more|arXiv (Cornell University)|Feb 15, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用 11

一句话总结

本文提出了一种新颖的框架，通过沿正交子空间（例如频率带）扰动样本，分析训练数据中的判别性特征如何影响深度神经网络的决策边界。研究发现，决策边界对训练样本的小幅扰动极为敏感，尤其是在高频方向上；而对抗训练利用这种敏感性来强制实现不变性，从而在保持泛化能力的同时提升模型鲁棒性。

ABSTRACT

Important insights towards the explainability of neural networks reside in the characteristics of their decision boundaries. In this work, we borrow tools from the field of adversarial robustness, and propose a new perspective that relates dataset features to the distance of samples to the decision boundary. This enables us to carefully tweak the position of the training samples and measure the induced changes on the boundaries of CNNs trained on large-scale vision datasets. We use this framework to reveal some intriguing properties of CNNs. Specifically, we rigorously confirm that neural networks exhibit a high invariance to non-discriminative features, and show that the decision boundaries of a DNN can only exist as long as the classifier is trained with some features that hold them together. Finally, we show that the construction of the decision boundary is extremely sensitive to small perturbations of the training samples, and that changes in certain directions can lead to sudden invariances in the orthogonal ones. This is precisely the mechanism that adversarial training uses to achieve robustness.

研究动机与目标

• 理解训练数据中的判别性特征如何影响深度网络决策边界的几何结构。
• 研究决策边界对输入空间中特定方向（尤其是不同频率子空间）的小幅扰动的敏感性。
• 通过分析边界几何结构与不变性的影响，解释为何对抗训练能显著提升鲁棒性。
• 提出一种新的方法论框架，用于测量和解释输入空间中正交方向上的边缘分布。

提出的方法

• 作者开发了一种方法，利用输入空间的DCT基分解，计算沿一系列正交方向的边缘（到决策边界的距离）。
• 他们沿特定子空间（例如低频与高频DCT分量）对训练样本进行扰动，并测量由此引起的决策边界几何结构变化。
• 采用“频率翻转”数据增强技术，反转输入的频率内容，从而实现对判别性特征的受控消融。
• 该框架在多个数据集（CIFAR-10、ImageNet、MNIST）上对标准模型和对抗训练模型的边缘分布进行评估。
• 使用ℓ₂-PGD对抗攻击测量使预测结果翻转所需的最小扰动，并将其分解到不同频率子空间。
• 对各子空间中边缘分布的统计分析揭示了与数据特征相关的不变性与敏感性模式。

实验结果

研究问题

• RQ1 深度网络决策边界的边缘与其训练数据中出现的判别性特征之间有何关系？
• RQ2 决策边界在输入空间的特定方向上对小幅度扰动的敏感程度如何？
• RQ3 为何对抗训练能显著提升鲁棒性？它如何改变决策边界的几何结构？
• RQ4 能否通过受控的数据扰动，严格确认深度网络对非判别性特征的不变性？

主要发现

• 标准CNN的决策边界对高频子空间中的小扰动极为敏感，这些方向上的边缘极小。
• 对抗训练显著增加了高频子空间中的边缘，即使标准模型在这些方向上本已具有较大边缘。
• 网络对非判别性特征表现出强烈的不变性，证实了深度神经网络通过忽略此类噪声实现良好泛化的普遍认知。
• 在某一方向（如高频）扰动训练样本，可在正交方向上引发突然的不变性，揭示了对抗训练所利用的关键机制。
• 当训练数据被“频率翻转”时，边缘分布也相应发生翻转，证实所观察到的模式与数据的频率内容直接相关。
• 使用随机正交基无法揭示有意义的边缘差异，证明DCT基在识别判别性与非判别性方向方面具有不可替代性。