[论文解读] Adversarially Robust Learning Could Leverage Computational Hardness

Sanjam Garg, Somesh Jha+2 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 48被引用 8

一句话总结

本文提出，计算困难性可通过使多项式时间攻击者无法找到对抗性样本，从而实现对抗性鲁棒的机器学习，即使计算能力无限的对手可以做到这一点。它构建了一个学习任务，其中对多项式时间对手的鲁棒性依赖于标准密码学假设，证明了计算约束可以在信息论极限之外提供有意义的鲁棒性。

ABSTRACT

Over recent years, devising classification algorithms that are robust to adversarial perturbations has emerged as a challenging problem. In particular, deep neural nets (DNNs) seem to be susceptible to small imperceptible changes over test instances. However, the line of work in provable robustness, so far, has been focused on information-theoretic robustness, ruling out even the existence of any adversarial examples. In this work, we study whether there is a hope to benefit from algorithmic nature of an attacker that searches for adversarial examples, and ask whether there is any learning task for which it is possible to design classifiers that are only robust against polynomial-time adversaries. Indeed, numerous cryptographic tasks can only be secure against computationally bounded adversaries, and are indeed impossible for computationally unbounded attackers. Thus, it is natural to ask if the same strategy could help robust learning. We show that computational limitation of attackers can indeed be useful in robust learning by demonstrating the possibility of a classifier for some learning task for which computational and information theoretic adversaries of bounded perturbations have very different power. Namely, while computationally unbounded adversaries can attack successfully and find adversarial examples with small perturbation, polynomial time adversaries are unable to do so unless they can break standard cryptographic hardness assumptions. Our results, therefore, indicate that perhaps a similar approach to cryptography (relying on computational hardness) holds promise for achieving computationally robust machine learning. On the reverse directions, we also show that the existence of such learning task in which computational robustness beats information theoretic robustness requires computational hardness by implying (average-case) hardness of NP.

研究动机与目标

• 研究计算困难性是否可用于在多项式时间对手面前实现机器学习的鲁棒性。
• 确定是否存在学习任务，使得计算受限对手在本质上弱于信息论对手。
• 形式化一个基于游戏的机器学习计算鲁棒性定义，类比于密码学安全模型。
• 建立此类计算鲁棒学习任务的存在性与NP平均情况困难性之间的联系。
• 探索计算鲁棒性是否可用于构造密码学上有用的原原子，如单向函数。

提出的方法

• 引入一个基于游戏的计算鲁棒性框架，其中挑战者训练一个分类器，攻击者通过预言机访问尝试找到小扰动的对抗性样本。
• 通过Cook-Levin归约，将寻找对抗性样本的问题归约为布尔可满足性（SAT）问题，编码输入扰动和误分类的约束条件。
• 使用NP的困难采样器，构造一个SAT公式分布，其中可满足实例常见但任何多项式时间算法都难以求解。
• 采用放大技术，包括直接积构造，强化可满足与不可满足实例之间的差距，确保高效算法以高概率失败。
• 使用Chernoff-Hoeffding界证明，生成可满足公式的概率保持较高，而任何多项式大小对手的成功概率仍可忽略。
• 应用引理19进一步放大困难性，确保最终采样器生成的公式以极大概率可满足，但任何高效算法都无法求解。

实验结果

研究问题

• RQ1 计算困难性是否可用于构建学习任务，使得多项式时间对手无法找到对抗性样本，即使计算能力无限的对手可以？
• RQ2 此类计算鲁棒学习任务的存在性是否依赖于计算困难性假设，特别是NP的平均情况困难性？
• RQ3 学习中计算鲁棒性的框架是否可用于构造密码学上有用的原原子，如单向函数？
• RQ4 在对抗性鲁棒性中利用计算约束是否可作为信息论鲁棒性的可行替代方案，后者通常难以实现？
• RQ5 该方法是否可扩展至自然学习问题（如图像分类），而非人为修改的问题？

主要发现

• 存在一个学习任务，其中计算能力无限的对手可轻松找到小扰动的对抗性样本，但多项式时间对手无法做到，除非他们打破标准密码学困难性假设。
• 此类学习任务的存在性意味着NP的平均情况困难性，表明计算鲁棒性无法在无底层计算假设的情况下存在。
• 所提出的构造使用一个NP的困难采样器，生成以高概率可满足的SAT公式，但任何多项式时间算法都无法求解。
• 任何多项式时间对手求解所构造谜题的成功概率被限制在可忽略函数范围内，尽管公式以极大概率可满足。
• 该框架支持一个正式的基于游戏的计算鲁棒性定义，可推广至各类对手，包括具有结构约束的对手。
• 结果表明，如同在密码学中一样，计算困难性可能是实现机器学习中实际对抗性鲁棒性的可行路径。