[论文解读] Adversarial Examples in Constrained Domains

Ryan Sheatsley, Nicolas Papernot+3 more|arXiv (Cornell University)|Nov 2, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用 4

一句话总结

本文提出了两种新颖算法——自适应JSMA（Adaptive JSMA）与直方图草图生成（Histogram Sketch Generation），用于在受限领域（如网络入侵检测）中生成对抗性样本，此类领域因协议语义和数据相关性而对特征修改施加限制。尽管存在约束，该方法仍实现了超过95%的误分类率与高达93%的迁移性，表明受限领域并非天然具备抵御对抗性攻击的能力。

ABSTRACT

Machine learning algorithms have been shown to be vulnerable to adversarial manipulation through systematic modification of inputs (e.g., adversarial examples) in domains such as image recognition. Under the default threat model, the adversary exploits the unconstrained nature of images; each feature (pixel) is fully under control of the adversary. However, it is not clear how these attacks translate to constrained domains that limit which and how features can be modified by the adversary (e.g., network intrusion detection). In this paper, we explore whether constrained domains are less vulnerable than unconstrained domains to adversarial example generation algorithms. We create an algorithm for generating adversarial sketches: targeted universal perturbation vectors which encode feature saliency within the envelope of domain constraints. To assess how these algorithms perform, we evaluate them in constrained (e.g., network intrusion detection) and unconstrained (e.g., image recognition) domains. The results demonstrate that our approaches generate misclassification rates in constrained domains that were comparable to those of unconstrained domains (greater than 95%). Our investigation shows that the narrow attack surface exposed by constrained domains is still sufficiently large to craft successful adversarial examples; and thus, constraints do not appear to make a domain robust. Indeed, with as little as five randomly selected features, one can still generate adversarial examples.

研究动机与目标

• 探究受限领域（攻击者对输入特征控制有限）是否比图像识别等非受限领域更具抵御对抗性机器学习攻击的能力。
• 开发一种算法（自适应JSMA），在领域特定约束（如协议有效性与特征相关性）下生成定向对抗性样本。
• 提出直方图草图生成方法，这是首个尊重领域约束并可在不同模型间实现迁移的通用对抗性扰动生成方法。
• 在真实受限数据集（NSL-KDD 与 UNSW-NB15）上评估这些方法的有效性，并分析特征约束对模型脆弱性的影响。
• 探讨领域约束是否可作为防御机制，并研究防御者是否可利用对抗性草图分析实现漏洞检测。

提出的方法

• 自适应JSMA（AJSMA）通过整合领域约束（如固定特征类型（二值/连续）、协议有效性与特征相关性）扩展了雅可比显著性图方法，以生成定向对抗性样本。
• 直方图草图生成（HSG）算法通过分析特征显著性分布来计算通用扰动，并构建保持在领域定义允许范围内的扰动。
• 通过皮尔逊相关性分析识别主要特征（如传输协议），以指导扰动目标选择并提升攻击效率。
• 该方法使用基于直方图的特征扰动方向表示来编码显著性，同时尊重约束条件，从而实现可应用于多个输入的通用草图。
• 在NSL-KDD与UNSW-NB15数据集上开展实验，评估对抗性样本的成功率、失真度与跨模型迁移性。
• 该方法评估在极端约束下的鲁棒性，例如将攻击者限制仅能修改五个随机特征，以测试基于领域的防御能力的极限。

实验结果

研究问题

• RQ1 在如网络入侵检测等受限领域中，能否有效生成对抗性样本，其中特征修改受协议语义和数据相关性限制？
• RQ2 与图像识别等非受限领域相比，领域约束在多大程度上降低了机器学习模型对对抗性攻击的脆弱性？
• RQ3 当通用对抗性扰动（对抗性草图）被限制在特定领域特征范围内时，其有效性如何？是否仍能实现高迁移性？
• RQ4 识别主要特征（如传输协议）是否能提升受限领域中对抗性攻击的效率与成功率？
• RQ5 若将攻击者限制在极少数可控特征（如五个）内，是否能显著降低对抗性攻击的成功率，还是仍可实施有效攻击？

主要发现

• 在受限领域中成功生成了对抗性样本，误分类率超过95%，表明约束并未显著降低模型的脆弱性。
• 即使攻击者仅能扰动五个随机特征，对抗性样本仍实现了约50%的成功率，表明极少数控制仍足以实施有效攻击。
• 所提出的直方图草图生成方法生成的通用对抗性扰动在不同模型间实现了93%的迁移率，表明在领域约束下仍具备极强的泛化能力。
• 特征相关性（尤其是基于时间的特征）显著影响模型脆弱性，高度相关的特征会放大微小扰动的影响。
• 研究发现，固定特征类型与协议有效性等领域约束不足以防止有效攻击，表明此类约束本身并不能提供稳健防御。
• 通过相关性矩阵分析特征显著性，发现主要特征（如传输协议）与大量次级特征高度相关，从而可实现更有效且精准的扰动。