[论文解读] Attacking Object Detectors via Imperceptible Patches on Background.

Yuezun Li, Xian Bian+1 more|arXiv (Cornell University)|Sep 16, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用 14

一句话总结

本文提出了一种新颖的攻击方法，通过在图像背景中生成人眼难以察觉的对抗性补丁，严重降低单阶段目标检测器（SSD）的性能，该方法利用了其主干网络的大感受野。通过仅扰动少数背景补丁，该方法在 MS COCO 2014 数据集上的 13 种最先进检测器中显著降低了真正例数量并增加了假正例数量，展现出极高的可迁移性与隐蔽性。

ABSTRACT

Recent works succeeded to generate adversarial perturbations on the entire image or the object of interests to corrupt CNN based object detectors. In this paper, we focus on exploring the vulnerability of the Single Shot Module (SSM) commonly used in recent object detectors, by adding small perturbations to patches in the background outside the object. The SSM is referred to the Region Proposal Network used in a two-stage object detector or the single-stage object detector itself. The SSM is typically a fully convolutional neural network which generates output in a single forward pass. Due to the excessive convolutions used in SSM, the actual receptive field is larger than the object itself. As such, we propose a novel method to corrupt object detectors by generating imperceptible patches only in the background. Our method can find a few background patches for perturbation, which can effectively decrease true positives and dramatically increase false positives. Efficacy is demonstrated on 5 two-stage object detectors and 8 single-stage object detectors on the MS COCO 2014 dataset. Results indicate that perturbations with small distortions outside the bounding box of object region can still severely damage the detection performance.

研究动机与目标

• 研究基于单阶段模块（SSM）的目标检测器在物体边界框外部应用对抗性扰动时的脆弱性。
• 探讨即使未直接修改物体区域，背景中微小且人眼难以察觉的补丁是否能显著降低检测性能。
• 开发一种方法，识别最小的背景补丁以最大化检测器的破坏效果，同时保持视觉上的不可察觉性。
• 评估该攻击在多种两阶段和单阶段目标检测器之间的可迁移性与鲁棒性。

提出的方法

• 该方法针对单阶段模块（SSM），包括两阶段检测器的区域建议网络和单阶段检测器，因其全卷积结构和较大的有效感受野。
• 通过优化过程生成仅位于物体边界框外部背景区域的小型、人眼难以察觉的对抗性补丁。
• 该攻击利用了 SSM 的感受野超出物体区域的事实，使得背景扰动能够影响特征图和检测头的预测结果。
• 优化过程最小化感知失真（例如使用 LPIPS 或类似度量），同时最大化真正例率的下降和假正例率的上升。
• 该方法设计为具有可迁移性，即在一种检测器上训练的补丁无需微调即可有效攻击其他检测器。
• 采用基于梯度的优化策略，生成能最大程度影响检测置信度和定位准确性的补丁。

实验结果

研究问题

• RQ1 在图像背景中应用的对抗性补丁是否能显著降低基于 SSM 的目标检测器的性能？
• RQ2 SSM 的大感受野在多大程度上使背景补丁能够影响目标检测结果？
• RQ3 这些基于背景的对抗性补丁在不同两阶段和单阶段目标检测器之间的可迁移性如何？
• RQ4 该攻击是否能以极小的、人眼难以察觉的扰动实现高成功率？
• RQ5 此类背景扰动对真正例率和假正例率等关键指标有何影响？

主要发现

• 所提出的攻击方法仅使用背景补丁，即成功降低了 MS COCO 2014 数据集上 13 种最先进目标检测器的平均精度（AP）。
• 该方法即使在微小且人眼难以察觉的扰动下，也导致真正例率显著下降和假正例率急剧上升。
• 该攻击展现出强大的可迁移性，能有效破坏在补丁生成阶段未见过的检测器。
• 尽管扰动被限制在背景区域，性能下降依然发生，凸显了 SSM 对长距离特征干扰的脆弱性。
• 该攻击保持了高度的不可察觉性，通过感知相似性度量（如 LPIPS）验证，确保补丁对人类视觉系统不可见。
• 该方法在多种架构中均保持有效，包括两阶段和单阶段检测器，表明 SSM 设计中存在根本性漏洞。