[论文解读] Explicit Tradeoffs between Adversarial and Natural Distributional Robustness

Mazda Moayeri, Kiarash Banihashem+1 more|arXiv (Cornell University)|Sep 15, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文揭示了深度神经网络中对抗鲁棒性与自然分布鲁棒性之间的显式权衡，表明对抗训练——尤其是ℓ₂和ℓ₁范数下的对抗训练——会增加对背景等虚假特征的依赖，从而降低在分布偏移下的鲁棒性。在五个基准数据集上的20个模型的实证验证表明，经过对抗训练的模型对虚假相关性更加敏感，当测试域中的相关性被打破时，其泛化能力受到损害。

ABSTRACT

Several existing works study either adversarial or natural distributional robustness of deep neural networks separately. In practice, however, models need to enjoy both types of robustness to ensure reliability. In this work, we bridge this gap and show that in fact, explicit tradeoffs exist between adversarial and natural distributional robustness. We first consider a simple linear regression setting on Gaussian data with disjoint sets of core and spurious features. In this setting, through theoretical and empirical analysis, we show that (i) adversarial training with $\ell_1$ and $\ell_2$ norms increases the model reliance on spurious features; (ii) For $\ell_\infty$ adversarial training, spurious reliance only occurs when the scale of the spurious features is larger than that of the core features; (iii) adversarial training can have an unintended consequence in reducing distributional robustness, specifically when spurious correlations are changed in the new test domain. Next, we present extensive empirical evidence, using a test suite of twenty adversarially trained models evaluated on five benchmark datasets (ObjectNet, RIVAL10, Salient ImageNet-1M, ImageNet-9, Waterbirds), that adversarially trained classifiers rely on backgrounds more than their standardly trained counterparts, validating our theoretical results. We also show that spurious correlations in training data (when preserved in the test domain) can improve adversarial robustness, revealing that previous claims that adversarial vulnerability is rooted in spurious correlations are incomplete.

研究动机与目标

• 探究对抗鲁棒性与分布鲁棒性之间的相互作用，尽管两者在实践中常被孤立研究，但对可靠模型部署而言均至关重要。
• 通过证明对抗训练实际上可能增加对虚假特征的依赖，挑战当前认为虚假特征依赖是导致对抗脆弱性的根本原因的普遍假设。
• 通过实证验证理论发现，不同对抗训练范数（ℓ₁、ℓ₂、ℓ∞）如何影响模型对虚假特征的依赖程度。
• 检验虚假相关性是否在某些条件下反而能提升对抗鲁棒性，尽管这与直觉相悖。

提出的方法

• 基于高斯数据的线性回归模型，对解耦的核心特征与虚假特征进行理论分析，推导出对抗训练增加对虚假特征依赖的条件。
• 推导出ℓ∞对抗训练增加对虚假特征依赖的条件——特别是当虚假特征的尺度大于核心特征时。
• 在五个基准数据集（ObjectNet、RIVAL10、Salient ImageNet-1M、ImageNet-9、Waterbirds）上，对20个经过对抗训练的模型（使用ℓ₂和ℓ∞投影梯度下降）进行实证评估。
• 使用背景差距（Background Gap）度量来量化当测试域中虚假背景相关性被打破时的性能下降（例如，Mixed-Same与Mixed-Rand划分的对比）。
• 在Waterbirds数据集上评估模型性能，通过比较多数类（虚假相关性保持完整）与少数类（虚假相关性被打破）组的准确率，衡量对虚假相关性的敏感度。
• 在CIFAR-10上进行受控实验，注入与颜色通道相关的虚假特征，以检验更强的虚假相关性是否能在攻击下提升对抗鲁棒性。

实验结果

研究问题

• RQ1 在ℓ₁、ℓ₂和ℓ∞范数下进行对抗训练是否会增加模型对虚假特征的依赖？如果是，其条件是什么？
• RQ2 由于对抗训练导致对虚假特征的依赖增加，在测试域中虚假相关性被打破时，这种依赖对分布鲁棒性的损害程度有多大？
• RQ3 训练数据中存在虚假相关性是否实际上能提升对抗鲁棒性？如果是，其条件是什么？
• RQ4 不同对抗训练范数（ℓ₂与ℓ∞）在影响虚假特征依赖程度及分布偏移下的泛化能力方面有何差异？

主要发现

• 使用ℓ₂和ℓ₁范数的对抗训练会增加模型对虚假特征的依赖，因为攻击者必须将扰动预算分散到更多特征上，从而使得虚假特征更具影响力。
• 对于ℓ∞对抗训练，只有当虚假特征的尺度大于核心特征时，才会出现对虚假特征依赖的增加，原因在于攻击者无法破坏较强的虚假相关性。
• 在RIVAL10和Salient ImageNet-1M上，经过对抗训练的模型表现出显著更大的背景差距，表明当虚假背景相关性被打破时，其分布鲁棒性更差——尤其在ℓ₂训练的模型中更为明显。
• 在Waterbirds基准上，100%的ℓ₂对抗训练模型和60%的ℓ∞对抗训练模型在多数类与少数类组之间的性能差距大于标准基线模型，证实了对虚假特征依赖的增强。
• 对于ℓ₂对抗训练的ResNet50模型（ε=5），由于虚假相关性被打破导致的准确率相对下降达18.9%，而标准训练模型仅为9.7%，表明分布鲁棒性出现显著退化。
• 在受控的CIFAR-10实验中，通过注入具有更强相关性（更高ρ）的虚假颜色通道特征，可提升对抗鲁棒性，且鲁棒准确率的差距最高可达基线的四倍，表明虚假特征可能增强而非损害对抗鲁棒性。