[论文解读] Evading classifiers in discrete domains with provable optimality guarantees

Bogdan Kulynych, Jamie Hayes+2 more|arXiv (Cornell University)|Oct 25, 2018

Adversarial Robustness in Machine Learning参考文献 68被引用 20

一句话总结

本文提出了一种图形化框架，将离散领域中的对抗性攻击建模为加权变换图中的路径查找问题，利用 A∗ 搜索实现可证明的最小成本对抗性样本。该框架泛化了现有攻击方法，支持任意成本函数（包括经济成本），并在领域约束下提供形式化鲁棒性保证，已在 Twitter 机器人检测和隐私指纹识别分类器中得到验证。

ABSTRACT

Machine-learning models for security-critical applications such as bot, malware, or spam detection, operate in constrained discrete domains. These applications would benefit from having provable guarantees against adversarial examples. The existing literature on provable adversarial robustness of models, however, exclusively focuses on robustness to gradient-based attacks in domains such as images. These attacks model the adversarial cost, e.g., amount of distortion applied to an image, as a $p$-norm. We argue that this approach is not well-suited to model adversarial costs in constrained domains where not all examples are feasible. We introduce a graphical framework that (1) generalizes existing attacks in discrete domains, (2) can accommodate complex cost functions beyond $p$-norms, including financial cost incurred when attacking a classifier, and (3) efficiently produces valid adversarial examples with guarantees of minimal adversarial cost. These guarantees directly translate into a notion of adversarial robustness that takes into account domain constraints and the adversary's capabilities. We show how our framework can be used to evaluate security by crafting adversarial examples that evade a Twitter-bot detection classifier with provably minimal number of changes; and to build privacy defenses by crafting adversarial examples that evade a privacy-invasive website-fingerprinting classifier.

研究动机与目标

• 解决在恶意软件、垃圾信息或机器人检测等离散受限领域中缺乏可证明的对抗性鲁棒性保证的问题。
• 克服现有基于梯度的攻击方法对 ℓp-范数的依赖，这些方法在离散且可行的变换空间中不适用。
• 将对抗性攻击形式化为在有效变换上的图搜索，支持可定制的成本函数。
• 利用 A∗ 搜索实现可证明最优的最小成本对抗性样本，借助连续领域鲁棒性作为启发式函数。
• 在包含经济和操作成本等现实攻击者约束条件下，实现对分类器鲁棒性的评估。

提出的方法

• 将可行对抗性篡改的空间表示为加权有向图（变换图），其中节点为样本，边为具有相关成本的变换。
• 将变换成本建模为边的权重，支持超出 ℓp-范数的任意成本函数，如经济成本或语义成本。
• 在变换图上使用 A∗ 搜索，以找到具有可证明最小总成本的对抗性样本，其启发式函数来源于连续超集中的 ℓp-鲁棒性。
• 利用对分类器的白盒知识计算 A∗ 的鲁棒性启发式函数，确保即使在复杂离散空间中也能实现最优路径查找。
• 通过将模型与变换图解耦，支持白盒和黑盒设置，实现跨不同分类器和攻击场景的复用。
• 在连续鲁棒性计算成本较高的情况下，支持次优但具有成本保证的 A∗ 变体，同时保持解质量的理论边界。

实验结果

研究问题

• RQ1 我们能否将离散领域中的对抗性攻击形式化为图搜索问题，以捕捉可行性约束和任意成本函数？
• RQ2 在 ℓp-范数不适用的离散领域中，如何保证最小对抗性成本？
• RQ3 连续领域中的对抗性鲁棒性度量在多大程度上可作为离散图搜索的有效启发式函数？
• RQ4 该框架能否用于评估现实应用中的安全鲁棒性与隐私防御？
• RQ5 该框架在多大程度上泛化或包含现有离散领域中的攻击方法，如文本、代码或网络流量？

主要发现

• 所提出的变换图框架通过将它们建模为图中的路径，泛化了离散领域中的现有攻击方法，包括词替换、二进制变异和特征操作。
• 使用基于连续领域 ℓp-鲁棒性的启发式函数的 A∗ 搜索，可在离散环境中实现可证明的最小成本对抗性样本。
• 该框架支持任意成本函数，如经济成本，这些成本无法通过 ℓp-范数建模，从而实现更真实的对抗性成本建模。
• 该方法可对 Twitter 机器人分类器的鲁棒性进行评估，并可证明地保证逃避检测所需的最少修改次数。
• 该框架还支持隐私应用，例如通过构造最小成本对抗性样本，评估针对网站指纹识别分类器的防御措施的成本效益。