[论文解读] Can Adversarially Robust Learning Leverage Computational Hardness?

Saeed Mahloujifar, Mohammad Mahmoody|arXiv (Cornell University)|Oct 2, 2018

Adversarial Robustness in Machine Learning被引用 13

一句话总结

本文证明，对于从乘积分布中抽取实例的分类器，对抗鲁棒性学习不能基于计算困难性。它证明了即使初始误差为常数，多项式时间的逃避攻击和投毒攻击也能仅通过 $O(\tilde{\rho}(\text{poly}(n))$ 的扰动生成对抗样本，这是通过利用高维乘积空间中的计算集中性实现的。

ABSTRACT

Making learners robust to adversarial perturbation at test time (i.e., evasion attacks) or training time (i.e., poisoning attacks) has emerged as a challenging task. It is known that for some natural settings, sublinear perturbations in the training phase or the testing phase can drastically decrease the quality of the predictions. These negative results, however, are information theoretic and only prove the existence of such successful adversarial perturbations. A natural question for these settings is whether or not we can make classifiers computationally robust to polynomial-time attacks. In this work, we prove strong barriers against achieving such envisioned computational robustness both for evasion and poisoning attacks. In particular, we show that if the test instances come from a product distribution (e.g., uniform over $\{0,1\}^n$ or $[0,1]^n$, or isotropic $n$-variate Gaussian) and that there is an initial constant error, then there exists a polynomial-time attack that finds adversarial examples of Hamming distance $O(\sqrt n)$. For poisoning attacks, we prove that for any learning algorithm with sample complexity $m$ and any efficiently computable "predicate" defining some "bad" property $B$ for the produced hypothesis (e.g., failing on a particular test) that happens with an initial constant probability, there exist polynomial-time online poisoning attacks that tamper with $O (\sqrt m)$ many examples, replace them with other correctly labeled examples, and increases the probability of the bad event $B$ to $\approx 1$. Both of our poisoning and evasion attacks are black-box in how they access their corresponding components of the system (i.e., the hypothesis, the concept, and the learning algorithm) and make no further assumptions about the classifier or the learning algorithm producing the classifier.

研究动机与目标

• 探究计算困难性是否可作为逃避和投毒场景下对抗鲁棒性学习的基础。
• 确定多项式时间对手能否利用乘积分布的结构特性，以最小扰动生成有效的对抗样本。
• 建立乘积空间中经典集中性测度定理的计算类比，以实现高效攻击构造。
• 分析当初始误差为常数时鲁棒性的极限，表明即使微小的漏洞也可能被高效攻击放大。

提出的方法

• 借鉴 [KKR18] 中的结果，利用乘积分布中的计算集中性，构建高效的黑盒攻击。
• 使用基于抛硬币的算法证明，高效地将随机点映射到高测度集合，利用乘积空间的几何结构。
• 在假设空间中使用近似成员资格和采样预言机，实现对学习算法和分类器的黑盒访问。
• 应用概率论中的界（例如切尔诺夫型不等式和尾部界）来控制攻击的误差和成功概率。
• 通过集中不等式和预言机复杂度推导运行时间界，表明在弱假设下攻击可在 $O(n^{12} \times \text{polylog}(n))$ 时间内运行。
• 证明对于任意测度 $\mathcal{S}$ 满足 $\mu = \omega(\log n / \sqrt{n})$，多项式时间算法可将大多数点映射至距离 $\mathcal{S}$ 仅 $O(\sqrt{n})$ 汉明距离的范围内。

实验结果

研究问题

• RQ1 对抗鲁棒性学习是否可基于逃避攻击的计算困难性假设？
• RQ2 即使初始误差为常数，多项式时间投毒攻击是否能显著提高分类器的故障概率？
• RQ3 在多大程度上可利用乘积空间中的计算集中性来构建高效黑盒攻击？
• RQ4 计算集中性产生非平凡次线性攻击的最小初始误差概率 $\mu$ 是多少？
• RQ5 其他度量概率空间（如各向同性高斯分布）是否具有计算集中性，从而支持类似攻击？

主要发现

• 对于逃避攻击，多项式时间对手可生成与任意测试实例在 $O(\sqrt{n})$ 汉明距离内的对抗样本，即使初始误差为常数。
• 对于投毒攻击，对手仅需篡改 $O(\sqrt{m})$ 个训练样本，即可将特定实例误分类的概率从常数提高至约 1。
• 攻击为黑盒：仅需访问假设、学习算法和成员资格预言机，对分类器或学习过程无额外假设。
• 攻击算法的运行时间受 $O(n^{12} \cdot \ell / (\mu \cdot (1 - \rho))^5)$ 限制，其中 $\ell$ 为输入长度，$\rho$ 为目标成功概率。
• 结果在弱假设下成立：实例空间为乘积分布（如 $\{0,1\}^n$、$[0,1]^n$ 或各向同性高斯分布），且初始误差非可忽略。
• 本文建立了经典集中性测度现象的计算类比，表明高效算法可在乘积空间中找到任意大测度集合附近的点。