[论文解读] A Closer Look at Accuracy vs. Robustness

Yao-Yuan Yang, Cyrus Rashtchian+3 more|arXiv (Cornell University)|Mar 5, 2020

Adversarial Robustness in Machine Learning参考文献 73被引用 83

一句话总结

该论文主张鲁棒性与准确性并非本质冲突，若使用局部 Lipschitz 函数，在真实图像数据上可以实现；它分析为什么当前方法表现不佳，并展示将 dropout 与鲁棒训练结合时可提升泛化。

ABSTRACT

Current methods for training robust networks lead to a drop in test accuracy, which has led prior works to posit that a robustness-accuracy tradeoff may be inevitable in deep learning. We take a closer look at this phenomenon and first show that real image datasets are actually separated. With this property in mind, we then prove that robustness and accuracy should both be achievable for benchmark datasets through locally Lipschitz functions, and hence, there should be no inherent tradeoff between robustness and accuracy. Through extensive experiments with robustness methods, we argue that the gap between theory and practice arises from two limitations of current methods: either they fail to impose local Lipschitzness or they are insufficiently generalized. We explore combining dropout with robust training methods and obtain better generalization. We conclude that achieving robustness and accuracy in practice may require using methods that impose local Lipschitzness and augmenting them with deep learning generalization techniques. Code available at https://github.com/yangarbiter/robust-local-lipschitz

研究动机与目标

• 通过实证评估真实图像数据集是否呈现类别分离（r-separation）。
• 在理论层面将 r-separation 与局部 Lipschitz 性联系起来，以说明鲁棒且准确的分类器的存在。
• 评估当前鲁棒性方法（AT、TRADES、RST）在局部 Lipschitz 性和泛化差距方面的表现。
• 研究标准泛化技术（如 dropout）是否能减少泛化差距并提升鲁棒性。
• 为在训练过程设计中同时提升鲁棒性与准确性提供指导。

提出的方法

• 使用图像的距离度量在真实数据集上定义并分析 r-separation。
• 证明 r-separation 意味着通过对局部 Lipschitz 函数取整得到的分类器存在鲁棒且准确的分类器。
• 在 MNIST、SVHN、CIFAR-10 与 Restricted ImageNet 上对鲁棒性方法（AT、RST、TRADES）进行实证评估，聚焦局部 Lipschitz性和泛化差距。
• 通过类似 PGD 的程序测量经验局部 Lipschitz 常数以评估分类器的平滑性。
• 用 dropout 作为一种泛化技术进行实验，观察其对鲁棒性、准确性与 Lipschitz 性的影响。

实验结果

研究问题

• RQ1 真实图像数据集是否在类别之间呈现 r-separation？
• RQ2 在 r-separated 的分布下，是否可以通过对局部 Lipschitz 的取整函数得到鲁棒且准确的分类器？
• RQ3 为什么实际的鲁棒性方法相对于理论表现不佳——是因为局部 Lipschitz 性受限，还是泛化差？
• RQ4 在鲁棒训练中加入 dropout 是否能减小泛化差并提升鲁棒性与准确性？
• RQ5 当前的鲁棒性方法在标准基准测试中如何权衡局部平滑性、鲁棒性和泛化？

主要发现

• 真实图像数据集（MNIST、CIFAR-10、SVHN、Restricted ImageNet）在鲁棒性实验中常见的扰动半径下呈现 r-separated。
• 存在一个局部 Lipschitz 函数，其取整在 r-separated 数据上在半径 r 处获得 astuteness 1 的分类器，意味着鲁棒性与准确性本质上可以共存。
• 对抗性训练（AT）、鲁棒自训练（RST）和 TRADES 强化了局部 Lipschitz 性和鲁棒性，但泛化差距较大。
• Dropout 可以减小泛化差距，并在与鲁棒方法结合时提高清洁与对抗性测试的准确性。
• 尽管 AT/RST/TRADES 能实现更平滑的分类器，但它们通常泛化较差；dropout 有助于改善这一点并可进一步提升平滑性。