[论文解读] Adversarial Robustness May Be at Odds With Simplicity

Preetum Nakkiran|arXiv (Cornell University)|Jan 2, 2019

Adversarial Robustness in Machine Learning参考文献 8被引用 75

一句话总结

论文提供理论构造，表明鲁棒分类可能需要比标准分类更复杂的分类器，甚至呈指数级更复杂；并且在简单分类器中存在对抗性鲁棒性与标准准确度之间的权衡。

ABSTRACT

Current techniques in machine learning are so far are unable to learn classifiers that are robust to adversarial perturbations. However, they are able to learn non-robust classifiers with very high accuracy, even in the presence of random perturbations. Towards explaining this gap, we highlight the hypothesis that $ extit{robust classification may require more complex classifiers (i.e. more capacity) than standard classification.}$ In this note, we show that this hypothesis is indeed possible, by giving several theoretical examples of classification tasks and sets of "simple" classifiers for which: (1) There exists a simple classifier with high standard accuracy, and also high accuracy under random $\ell_\infty$ noise. (2) Any simple classifier is not robust: it must have high adversarial loss with $\ell_\infty$ perturbations. (3) Robust classification is possible, but only with more complex classifiers (exponentially more complex, in some examples). Moreover, $ extit{there is a quantitative trade-off between robustness and standard accuracy among simple classifiers.}$ This suggests an alternate explanation of this phenomenon, which appears in practice: the tradeoff may occur not because the classification task inherently requires such a tradeoff (as in [Tsipras-Santurkar-Engstrom-Turner-Madry `18]), but because the structure of our current classifiers imposes such a tradeoff.

研究动机与目标

• 阐明为何鲁棒分类可能需要比标准分类更高的容量。
• 给出具体构造，简单分类器非鲁棒，但鲁棒分类仅存在于更复杂的模型中。
• 展示在简单分类器内对抗性损失与标准损失之间的定量权衡。

提出的方法

• 为分类器定义标准损失、对抗性损失以及噪声鲁棒损失。
• 给出构造1，使用一个分布，其中简单线性分类器的标准损失/噪声损失很低，但对抗性损失高，而非简单分类器实现低对抗性损失。
• 给出定理2，显示在简单分类器子集上对抗性损失与标准损失的明确权衡。
• 给出构造2，使用一个平均情况困难函数来分离鲁棒性所需的时间/复杂性。
• 表明鲁棒分类可能需要比标准准确的分类器指数级的更复杂。

实验结果

研究问题

• RQ1 为什么当前技术在实现高标准准确度的同时难以学习对抗鲁棒的分类器？
• RQ2 鲁棒性是否必然需要更高的分类器容量，是否可以在具体情境中证明？
• RQ3 简单分类器是否会出现对抗鲁棒性与标准准确性之间的权衡？
• RQ4 在什么条件下可以存在鲁棒分类器，但获得它需要更高的计算或表示复杂性？
• RQ5 鲁棒性与利用标准分类器中简单、脆弱特征的能力有何关系？

主要发现

• 存在在标准准确性和噪声鲁棒性都很高但对 l_infinity 扰动并不鲁棒（对抗性损失高）的简单分类器。
• 任何简单线性分类器在对抗扰动下都可能不鲁棒，而更复杂的（非线性）分类器能实现较低的对抗性损失。
• 在某些构造中，鲁棒分类可能需要比标准分类所需的分类器指数级更复杂。
• 在简单分类器中，对抗性损失与标准损失之间存在定量权衡。
• 存在某些分布，其中存在鲁棒分类器但需高计算复杂度才能找到。
• 在一个构造中，简单的预处理步骤（四舍五入）若不增加复杂度则无法实现鲁棒性。