[论文解读] Black-box Certification and Learning under Adversarial Perturbations

Hassan Ashtiani, Vinayak Pathak+1 more|arXiv (Cornell University)|Jun 30, 2020

Machine Learning and Algorithms被引用 5

一句话总结

本文提出了一种在有限查询访问条件下对对抗鲁棒性进行黑盒认证的形式化框架，将攻击者的查询复杂度与鲁棒学习的样本复杂度联系起来。结果表明，若攻击者能高效地找到对抗样本（多项式查询复杂度），则对于可适当压缩的假设类，鲁棒学习具有样本效率，其上界为 $ O(t\log^2 t) $ 个样本，其中 $ t = \mathrm{VC}({\mathcal{H}})/\epsilon^2 $。

ABSTRACT

We formally study the problem of classification under adversarial perturbations from a learner's perspective as well as a third-party who aims at certifying the robustness of a given black-box classifier. We analyze a PAC-type framework of semi-supervised learning and identify possibility and impossibility results for proper learning of VC-classes in this setting. We further introduce a new setting of black-box certification under limited query budget, and analyze this for various classes of predictors and perturbation. We also consider the viewpoint of a black-box adversary that aims at finding adversarial examples, showing that the existence of an adversary with polynomial query complexity can imply the existence of a sample efficient robust learner.

研究动机与目标

• 在仅能通过分类器的预言机访问的情况下，形式化黑盒对抗鲁棒性的认证。
• 研究在半监督、查询受限设置下，鲁棒学习可能成立的条件。
• 探讨攻击者的查询复杂度与鲁棒学习样本复杂度之间的联系。
• 识别在黑盒认证中，有限的无标签数据能否替代对边缘数据分布的完整知识。
• 基于压缩论证，建立在对抗扰动下鲁棒可学习性的理论边界。

提出的方法

• 提出一种适用于对抗扰动下鲁棒分类的PAC型半监督学习框架。
• 定义与假设类和扰动类型相关的边界类，以分析鲁棒性复杂度。
• 提出“见证集”概念，使某些假设类和扰动类能够实现有限查询的黑盒认证。
• 将基于压缩的学习论证方法进行改编，证明高效的对抗查询访问意味着样本高效的鲁棒学习。
• 使用一个完美、恰当且高效的攻击者，通过添加对抗查询来扩充训练集，从而在扩充后的集合上实现标准压缩。
• 通过已知的压缩到学习的联系，将鲁棒泛化误差简化为在扩充集合上的二分类误差。

实验结果

研究问题

• RQ1 在何种条件下，仅使用有限次查询即可对黑盒分类器进行鲁棒性认证？
• RQ2 攻击者的查询复杂度与鲁棒学习某一假设类的样本复杂度之间有何关系？
• RQ3 在黑盒认证中，有限的无标签数据能否替代对数据分布的完整知识？
• RQ4 当边界类也较简单时，是否可能在对抗扰动下对有限VC维类进行鲁棒学习？
• RQ5 当攻击者具有多项式查询复杂度时，鲁棒学习的样本复杂度是多少？

主要发现

• 若某一假设类存在一个完美、恰当且高效的攻击者，则鲁棒学习可在 $ O(t\log^2 t) $ 个样本内完成，其中 $ t = \mathrm{VC}({\mathcal{H}})/\epsilon^2 $，表明样本效率接近最优。
• 若某一可适当压缩的类存在多项式查询攻击者，则鲁棒学习的样本需求量不会显著高于标准PAC学习。
• 仅对特定类和扰动类型，黑盒认证才可能在有限查询下实现；对于其他情况，查询复杂度是无界的。
• 边界类的VC维起着关键作用：若假设类及其边界类的VC维均较低，则鲁棒学习不会比标准学习困难太多。
• 通过对抗查询扩充实现从鲁棒学习到标准压缩的简化，使得样本复杂度边界比以往已知结果更紧。
• 主结果的逆否命题表明，若鲁棒学习困难，则寻找对抗样本也必然困难，暗示了对抗搜索与学习复杂度之间存在根本联系。