[论文解读] Adversarially Robust Generalization Requires More Data

Ludwig Schmidt, Shibani Santurkar+3 more|arXiv (Cornell University)|Apr 30, 2018

Adversarial Robustness in Machine Learning参考文献 22被引用 359

一句话总结

本文证明实现对抗性鲁棒泛化需要比标准泛化多得多的数据，并给出几乎紧密的信息论下界，并在 MNIST、CIFAR-10 与 SVHN 上做了实证验证。

ABSTRACT

Machine learning models are often susceptible to adversarial perturbations of their inputs. Even small perturbations can cause state-of-the-art classifiers with high "standard" accuracy to produce an incorrect prediction with high confidence. To better understand this phenomenon, we study adversarially robust learning from the viewpoint of generalization. We show that already in a simple natural data model, the sample complexity of robust learning can be significantly larger than that of "standard" learning. This gap is information theoretic and holds irrespective of the training algorithm or the model family. We complement our theoretical results with experiments on popular image classification datasets and show that a similar gap exists here as well. We postulate that the difficulty of training robust classifiers stems, at least partially, from this inherently larger sample complexity.

研究动机与目标

• 动力化并形式化标准泛化与对抗性鲁棒泛化之间样本复杂度差异的问题。
• 给出信息论下界，表明即使对于简单数据模型，鲁棒泛化也需要更多数据。
• 比较高斯（Gaussian）与伯努利（Bernoulli）数据模型，以理解分布对鲁棒性的影响。
• 在带鲁棒训练的标准视觉数据集上实证验证理论发现。
• 提出影响鲁棒性和样本效率的实际含义与机制（如阈值化）。

提出的方法

• 为两种简单数据模型（高斯混合和伯努利）在 l_infty 扰动下定义鲁棒分类误差，以研究样本复杂度。
• 给出几乎紧密下界，表明鲁棒泛化比标准泛化需要更多样本（在高斯模型下 n 与 epsilon^2 sqrt(d) / log d 成比例）。
• 在伯努利模型中，非线性阈值处理可以降低鲁棒样本复杂度，这与线性分类器形成对比。
• 通过对 MNIST、CIFAR-10 和 SVHN 的子采样数据并在 PGD 攻击下评估鲁棒性，以补充理论。
• 演示阈值化和数据分布如何影响鲁棒性与样本效率，并与观察到的 CIFAR-10 过拟合和 MNIST 易用性相联系。

实验结果

研究问题

• RQ1 在简单数据模型中，对抗性鲁棒泛化的样本复杂度与标准泛化相比如何？
• RQ2 信息理论下界是否意味着鲁棒泛化的固有难点，与学习算法或模型类无关？
• RQ3 不同的数据生成过程（Gaussian vs Bernoulli）如何影响鲁棒泛化及潜在的对策（如阈值化）？
• RQ4 在实际数据集（MNIST、CIFAR-10、SVHN）上的经验观察是否与理论下界和洞见一致？
• RQ5 有哪些实际机制可以降低鲁棒数据需求或在实践中提高鲁棒性？

主要发现

• 在高斯模型中，鲁棒泛化需要比标准泛化显著更多的数据，几乎紧密的界限表明 n 大致按 epsilon^2 sqrt(d) / log d 规模。
• 伯努利数据模型显示线性分类器面对高鲁棒数据需求，但非线性阈值操作可以用更少的样本实现鲁棒性，体现分布相关的行为。
• 信息理论下界对任何学习算法均成立，表明在高维下，鲁棒误差不能用少量样本保持较低（与维度相关的差距）。
• 在 MNIST、CIFAR-10 和 SVHN 的实证实验显示明显的数据-鲁棒性权衡：鲁棒准确度的平台期需要更大的训练集，与理论一致；阈值化在 MNIST 上有帮助。
• 与伯努利模型洞察一致的阈值化层可以显著降低鲁棒样本复杂度，并提升对二进制类数据的实际鲁棒性。