[论文解读] Adversarial examples from computational constraints

Sébastien Bubeck, Eric Price+1 more|arXiv (Cornell University)|May 25, 2018

Adversarial Robustness in Machine Learning参考文献 15被引用 98

一句话总结

论文认为对抗性脆弱性可能源自计算限制，而非纯粹的信息论障碍，提供鲁棒学习与非鲁棒学习之间的 SQ困难 分离，同时在某些情形下展示样本高效、信息论鲁棒学习。

ABSTRACT

Why are classifiers in high dimension vulnerable to "adversarial" perturbations? We show that it is likely not due to information theoretic limitations, but rather it could be due to computational constraints. First we prove that, for a broad set of classification tasks, the mere existence of a robust classifier implies that it can be found by a possibly exponential-time algorithm with relatively few training examples. Then we give a particular classification task where learning a robust classifier is computationally intractable. More precisely we construct a binary classification task in high dimensional space which is (i) information theoretically easy to learn robustly for large perturbations, (ii) efficiently learnable (non-robustly) by a simple linear separator, (iii) yet is not efficiently robustly learnable, even for small perturbations, by any algorithm in the statistical query (SQ) model. This example gives an exponential separation between classical learning and robust learning in the statistical query model. It suggests that adversarial examples may be an unavoidable byproduct of computational limitations of learning algorithms.

研究动机与目标

• 激励并形式化在对抗性扰动下的鲁棒学习问题。
• 证明在信息论意义上鲁棒学习可能很容易，但在 SQ 访问下计算上很困难。
• 给出一个具体任务，在 SQ 模型中展示鲁棒学习与经典学习之间的指数级分离。
• 给出在多项数据量和计算量下鲁棒学习可行的条件。

提出的方法

• 引入 ε-鲁棒零-one 损失并在范数扰动约束下形式化鲁棒可学习性。
• 构造一个高维下信息论意义上鲁棒可学习但对鲁棒学习在 SQ 上困难的分布任务。
• 在构造的任务上使用带指数精度 oracle 的统计查询 (SQ) 模型来证明鲁棒学习的指数级 SQ 下界。
• 表明在具有有限分类器族的情形下，鲁棒可行性意味着样本高效鲁棒学习（鲁棒经验风险最小化）。
• 将覆盖数与生成模型近似联系起来，以在连续分布族下约束鲁棒学习的样本复杂度。

实验结果

研究问题

• RQ1 在高维任务中是否存在鲁棒分类器？若存在，鲁棒学习是否必然在计算上可行？
• RQ2 是否存在在理论上易于鲁棒学习但用 SQ 查询却难以鲁棒学习的任务？
• RQ3 在何种条件下可以以合理的样本复杂度实现鲁棒学习，生成模型如何影响这一点？

主要发现

• 存在在信息论意义上可用多项式资源学习的鲁棒可行分类任务，但在 SQ 模型中并非高效鲁棒可学习。
• 在构造的高维任务中，经典学习与鲁棒学习在 SQ 框架内存在指数级分离。
• 在鲁棒可行性成立时，通过鲁棒经验风险最小化可用多项式样本实现鲁棒学习。
• 一个简单的构造表明，同一任务在非鲁棒学习时容易，但对小扰动学习鲁棒分类器却需要指数级的 SQ 查询。
• 可被基于神经网络的生成模型近似的分布可以具有有界的覆盖数，在某些条件下实现多项式样本的鲁棒学习。