[论文解读] Exploiting Excessive Invariance caused by Norm-Bounded Adversarial Robustness

Jörn-Henrik Jacobsen, Jens Behrmann+3 more|arXiv (Cornell University)|Mar 25, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用 19

一句话总结

本文表明，训练深度神经网络以抵御基于范数有界扰动的对抗样本，可能会意外增加其对基于不变性（invariance-based）对抗样本的脆弱性——即语义内容发生变化但模型预测保持不变的输入。作者提出了一类与模型无关的攻击方法，以利用这种过度不变性，结果表明最先进的鲁棒模型仅在38%的基于不变性的对抗样本上与人类标签一致，显著低于基线性能。

ABSTRACT

Adversarial examples are malicious inputs crafted to cause a model to misclassify them. Their most common instantiation, "perturbation-based" adversarial examples introduce changes to the input that leave its true label unchanged, yet result in a different model prediction. Conversely, "invariance-based" adversarial examples insert changes to the input that leave the model's prediction unaffected despite the underlying input's label having changed. In this paper, we demonstrate that robustness to perturbation-based adversarial examples is not only insufficient for general robustness, but worse, it can also increase vulnerability of the model to invariance-based adversarial examples. In addition to analytical constructions, we empirically study vision classifiers with state-of-the-art robustness to perturbation-based adversaries constrained by an $\ell_p$ norm. We mount attacks that exploit excessive model invariance in directions relevant to the task, which are able to find adversarial examples within the $\ell_p$ ball. In fact, we find that classifiers trained to be $\ell_p$-norm robust are more vulnerable to invariance-based adversarial examples than their undefended counterparts. Excessive invariance is not limited to models trained to be robust to perturbation-based $\ell_p$-norm adversaries. In fact, we argue that the term adversarial example is used to capture a series of model limitations, some of which may not have been discovered yet. Accordingly, we call for a set of precise definitions that taxonomize and address each of these shortcomings in learning.

研究动机与目标

• 探究对基于扰动的对抗样本的鲁棒性是否会导致对语义上有意义的输入变化敏感性降低，从而引发更高的不变性。
• 证明在范数鲁棒模型中过度的不变性会损害泛化能力和与人类对齐的决策。
• 提出并评估一种在ℓp-球内生成基于不变性的对抗样本的与模型无关的攻击方法。
• 挑战‘对基于扰动的攻击具有鲁棒性即意味着具备整体鲁棒性’的假设，主张对对抗失败模式进行分类。

提出的方法

• 构建对ℓp-扰动攻击具有鲁棒性的分析模型，但在基于不变性的攻击下失效，以展示敏感性与不变性之间的权衡。
• 设计与模型无关的攻击方法，通过以语义上有意义的方式修改输入，在ℓp-球内生成ℓ0和ℓ∞的基于不变性的对抗样本。
• 使用人工标注的标签作为判据，评估在算法标签存在歧义时模型对对抗样本的一致性。
• 在基于不变性的攻击下训练并评估最先进的ℓp-鲁棒视觉分类器，以人类-模型一致率作为鲁棒性的代理指标。
• 分析在ℓp-范数约束下的决策边界几何结构，表明ℓp-范数无法捕捉语义或任务相关的改变。
• 建议将基于不变性的鲁棒性与基于扰动的鲁棒性分开评估，并倡导开发新指标和架构设计（如可逆网络）以控制不变性。

实验结果

研究问题

• RQ1 对ℓp-扰动攻击的鲁棒性是否降低了模型对语义上有意义的输入变化的敏感性，从而导致更高的不变性？
• RQ2 能否在训练为ℓp-鲁棒的模型中，在ℓp-球内构造出基于不变性的对抗样本？其有效性如何？
• RQ3 与基线模型相比，ℓp-鲁棒模型在基于不变性的对抗样本上与人工标注标签的一致性程度如何？
• RQ4 是否存在固有地促进过度不变性的架构或训练组件？能否加以缓解？
• RQ5 将基于扰动和基于不变性的对抗样本联合起来，是否足以捕捉所有逃避攻击向量？还是可能存在其他故障模式？

主要发现

• 经过训练以抵御ℓp-扰动攻击的模型，在基于不变性的对抗样本上与人类标签的一致性显著降低，其中ℓ0攻击下的一致性仅为38%，而基线模型为54%。
• ℓ0基于不变性的攻击在55%的案例中成功，ℓ∞攻击在21%的案例中成功，且均在对应防御的ℓp-球范围内。
• 在成功的基于不变性的对抗样本上，ℓp-鲁棒模型在ℓ0攻击下与人类标签的一致性低于58%，在ℓ∞攻击下低于5%。
• 研究发现，某些类别对基于不变性的攻击更为脆弱，表明鲁棒性在数据集上并非均匀分布。
• 作者观察到，声称在MNIST上具有高ℓ0和ℓ∞鲁棒性的防御方法可能过度拟合于MNIST的特性，无法泛化到语义变化。
• 结果表明，当前使用ℓp-球的评估协议可能不足，因为它们无法检测到语义上有意义且处于范数边界的不变性脆弱性。