[论文解读] Stateful Detection of Black-Box Adversarial Attacks

Steven Chen, Nicholas Carlini+1 more|arXiv (Cornell University)|Jul 12, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用 5

一句话总结

本文提出了一种有状态的防御机制，通过分析对分类器的查询序列来检测黑盒对抗性攻击的生成，利用相似性检测神经网络识别对抗性查询链的典型模式。该防御在面对自适应查询盲化攻击时依然有效，为黑盒对抗样本检测提供了一种新颖且稳健的方法，超越了无状态方法。

ABSTRACT

The problem of adversarial examples, evasion attacks on machine learning classifiers, has proven extremely difficult to solve. This is true even when, as is the case in many practical settings, the classifier is hosted as a remote service and so the adversary does not have direct access to the model parameters. This paper argues that in such settings, defenders have a much larger space of actions than have been previously explored. Specifically, we deviate from the implicit assumption made by prior work that a defense must be a stateless function that operates on individual examples, and explore the possibility for stateful defenses. To begin, we develop a defense designed to detect the process of adversarial example generation. By keeping a history of the past queries, a defender can try to identify when a sequence of queries appears to be for the purpose of generating an adversarial example. We then introduce query blinding, a new class of attacks designed to bypass defenses that rely on such a defense approach. We believe that expanding the study of adversarial examples from stateless classifiers to stateful systems is not only more realistic for many black-box settings, but also gives the defender a much-needed advantage in responding to the adversary.

研究动机与目标

• 解决在仅能访问模型输出的黑盒设置下检测对抗性样本生成的挑战。
• 探索有状态防御——与以往的无状态方法不同——通过利用查询历史来检测对抗性训练模式。
• 评估此类防御在面对通过修改查询行为以逃避检测的自适应攻击时的鲁棒性。
• 引入并验证查询盲化，这是一种针对有状态检测系统的通用规避技术。
• 证明有状态检测在防御黑盒对抗性攻击方面具有实际优势。

提出的方法

• 该防御使用一个相似性检测神经网络，通过识别高度自相似的查询序列（黑盒对抗性攻击生成的典型特征）来检测对抗性查询模式。
• 系统维护过去的查询历史，并实时应用相似性检测器来识别对抗性查询模式。
• 该方法设计为可与现有防御组合使用，从而为黑盒分类器提供纵深防御。
• 引入了一类新攻击——查询盲化：通过盲化函数预处理输入，以隐藏对抗性意图，同时保持分类器输出的可用性。
• 盲化函数确保预处理后的输入看起来像良性数据，从而规避基于相似性的检测，同时支持模型输出的重建。
• 该防御在硬标签黑盒设置下进行评估，仅返回类别标签，结果表明其在面对自适应攻击时依然有效。

实验结果

研究问题

• RQ1 能否通过有状态分析区分黑盒对抗性攻击所使用的查询序列与良性查询序列？
• RQ2 基于查询相似性检测的有状态防御在识别对抗性样本生成方面有多有效？
• RQ3 自适应攻击者能否使用如查询盲化这样的通用技术规避此类有状态防御？
• RQ4 当与其它防御方法（如集成对抗训练）结合时，所提出的防御是否依然保持鲁棒性？
• RQ5 在软标签设置或模型提取攻击下，有状态检测存在哪些局限性？

主要发现

• 所提出的有状态防御通过识别自相似查询序列，成功检测到现有最先进黑盒对抗性攻击，检测准确率很高。
• 该防御对查询盲化攻击依然有效，此类攻击旨在通过将输入转换为看似良性来规避基于相似性的检测。
• 即使攻击者调整策略，该防御依然表现出鲁棒性，证明其对自适应规避技术具有抗性。
• 该防御可与其他防御方法（如集成对抗训练）组合使用，形成统一且更鲁棒的黑盒攻击防御体系。
• 若攻击者能够提取模型权重，该防御将失效，凸显了针对模型提取攻击需额外有状态防御的必要性。
• 该方法具有可扩展性，可推广至其他领域，只要配备适当的相似性编码器，尽管目前的评估仅限于图像分类任务。