[论文解读] We Can Always Catch You: Detecting Adversarial Patched Objects WITH or WITHOUT Signature

Jiachun Li, Feng, Jianan+2 more|arXiv (Cornell University)|Jun 9, 2021

Adversarial Robustness in Machine Learning参考文献 53被引用 12

一句话总结

本文提出了两种互补的防御方法，以应对目标检测中的对抗性贴图攻击：一种基于签名的快速方法，利用Grad-CAM得分筛选高影响的贴图像素；一种新颖的无签名方法，通过识别局部与全局语义内容之间的不一致性来检测对抗性贴图。无签名方法能有效检测已知和未知攻击，提供稳健且可泛化的防护，无需依赖特定攻击的先验知识。

ABSTRACT

Recently, object detection has proven vulnerable to adversarial patch attacks. The attackers holding a specially crafted patch can hide themselves from state-of-the-art detectors, e.g., YOLO, even in the physical world. This attack can bring serious security threats, such as escaping from surveillance cameras. How to effectively detect this kind of adversarial examples to catch potential attacks has become an important problem. In this paper, we propose two detection methods: the signature-based method and the signature-independent method. First, we identify two signatures of existing adversarial patches that can be utilized to precisely locate patches within adversarial examples. By employing the signatures, a fast signature-based method is developed to detect the adversarial objects. Second, we present a robust signature-independent method based on the extit{content semantics consistency} of model outputs. Adversarial objects violate this consistency, appearing locally but disappearing globally, while benign ones remain consistently present. The experiments demonstrate that two proposed methods can effectively detect attacks both in the digital and physical world. These methods each offer distinct advantage. Specifically, the signature-based method is capable of real-time detection, while the signature-independent method can detect unknown adversarial patch attacks and makes defense-aware attacks almost impossible to perform.

研究动机与目标

• 解决对抗性贴图攻击在真实世界监控场景中绕过SOTA目标检测器（如YOLO）的日益增长的威胁。
• 识别并利用现有对抗性贴图中的可检测签名——具体而言，即贴图像素上的高Grad-CAM激活值——以实现快速、高效的防御。
• 设计一种改进的贴图生成算法，以规避基于签名的检测，从而揭示基于特定攻击的防御的脆弱性。
• 提出一种基于局部与全局图像语义内容不一致性的一般性、无签名检测方法，对未知和未来攻击均有效。
• 通过结合两种方法，构建一个全面的防御框架，实现在多样化部署场景中稳健且可适应的保护。

提出的方法

• 基于签名的方法利用Grad-CAM识别图像中对目标检测器预测影响最大的像素；将这些像素中最高的15%过滤掉，以抑制对抗性贴图的影响。
• 设计了一种迭代贴图生成算法，以在保持攻击有效性的同时最小化贴图像素上的Grad-CAM得分，从而规避基于签名的防御。
• 无签名方法通过分析语义不一致性来检测对抗性贴图：包含贴图的局部区域在孤立时语义上看似合理，但与全局图像上下文不一致。
• 该方法使用预训练网络的深度特征评估语义一致性，通过比较局部贴图区域与整体图像嵌入来检测异常。
• 该方法与模型无关，无需对目标检测器进行微调或修改，可即插即用。
• 两种方法设计为互补：基于签名的方法用于已知攻击的快速检测，无签名方法则用于未知或演化的威胁的稳健检测。

实验结果

研究问题

• RQ1 能否利用对抗性贴图中的可检测签名（特别是高Grad-CAM激活值）构建对现有贴图攻击的高效防御？
• RQ2 能否通过最小化此类签名同时保持攻击成功率，使改进的贴图生成算法规避基于签名的检测？
• RQ3 局部与全局图像内容之间的语义不一致性能否作为检测对抗性贴图的一般性、攻击无关信号？
• RQ4 无签名方法对已知和先前未见的对抗性贴图攻击的检测效果如何？
• RQ5 结合基于签名和无签名的检测方法，能否在真实世界目标检测系统中提供全面且稳健的防护？

主要发现

• 基于签名的防御通过过滤最高Grad-CAM像素，成功检测并中和了[49]中方法生成的对抗性贴图，仅引入约85ms的推理开销。
• 改进的贴图生成算法通过最小化贴图像素上的Grad-CAM得分，成功规避了基于签名的防御，同时保持了攻击的逃避性能。
• 无签名方法能有效检测原始和改进的对抗性贴图，证明其在不依赖攻击特定先验知识的情况下，对已知和未知攻击均有效。
• 无签名方法对分布偏移具有鲁棒性，并能泛化到不同攻击类型，因其依赖于内在的语义不一致性而非特定攻击签名。
• 实验表明，即使在物理打印贴图并应用于真实世界场景时，无签名方法仍能保持高检测准确率。
• 两种方法具有互补性：基于签名的方法对已知威胁提供快速高效的检测，而无签名方法则为未知或演化的攻击提供通用且稳健的检测。