[论文解读] Feasibility of Inconspicuous GAN-generated Adversarial Patches against Object Detection

Svetlana Pavlitskaya, Bianca-Marina Codău+1 more|arXiv (Cornell University)|Jul 15, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文评估了基于生成对抗网络（GAN）的方法，用于生成难以被人类察觉的对抗性补丁，以在有效攻击目标检测器的同时避免被人类发现。通过微调预训练的 GAN（DCGAN、BigGAN）并结合 PGD 优化，作者生成了视觉上逼真的补丁，且攻击性能强劲，尤其表明预训练 GAN 在 COCO 数据集上对 YOLOv3 的攻击中，既保持了优异的视觉保真度，又未牺牲攻击有效性。

ABSTRACT

Standard approaches for adversarial patch generation lead to noisy conspicuous patterns, which are easily recognizable by humans. Recent research has proposed several approaches to generate naturalistic patches using generative adversarial networks (GANs), yet only a few of them were evaluated on the object detection use case. Moreover, the state of the art mostly focuses on suppressing a single large bounding box in input by overlapping it with the patch directly. Suppressing objects near the patch is a different, more complex task. In this work, we have evaluated the existing approaches to generate inconspicuous patches. We have adapted methods, originally developed for different computer vision tasks, to the object detection use case with YOLOv3 and the COCO dataset. We have evaluated two approaches to generate naturalistic patches: by incorporating patch generation into the GAN training process and by using the pretrained GAN. For both cases, we have assessed a trade-off between performance and naturalistic patch appearance. Our experiments have shown, that using a pre-trained GAN helps to gain realistic-looking patches while preserving the performance similar to conventional adversarial patches.

研究动机与目标

• 研究生成自然、难以察觉的对抗性补丁的可行性，使其在避开人类检测的同时有效攻击目标检测器。
• 通过针对补丁位置附近的物体而非仅直接重叠的大物体，解决现有方法仅关注直接重叠大物体的局限性。
• 评估在数字、实例特定和通用设置下，补丁视觉真实度与攻击有效性的权衡。
• 比较两种基于 GAN 的方法：端到端的 PGD-GAN 训练与使用预训练 GAN 生成补丁。
• 在 COCO 数据集上以 YOLOv3 为目标检测器评估性能，重点关注 mAP 下降程度与补丁视觉质量。

提出的方法

• 采用基于 GAN 的补丁生成方法——具体为将 PGD 优化与 GAN 训练结合（即 PGD-GAN），以及使用预训练 GAN（DCGAN、BigGAN）——用于目标检测攻击。
• 应用基于 PGD 的对抗性训练，以优化补丁，使其最小化目标检测器对附近物体的置信度分数，而不仅限于直接重叠的物体。
• 结合使用多种损失函数：对抗损失、不可打印性损失和总变差损失，以确保补丁的视觉真实感与可打印性。
• 在实例特定和通用攻击设置下进行评估，其中单个补丁应用于多张图像。
• 通过在预训练 GAN 上进行潜在空间操作（如潜在变量偏移、亮度/对比度变换）来生成补丁，以提升视觉质量。
• 在 COCO 数据集上使用 YOLOv3 作为目标检测器进行训练与评估，通过 mAP 下降程度衡量攻击成功率。

实验结果

研究问题

• RQ1 基于 GAN 的方法能否生成在视觉上逼真且难以察觉的对抗性补丁，同时保持对目标检测器的强攻击性能？
• RQ2 与端到端的 PGD-GAN 训练相比，使用预训练 GAN 在补丁真实感与攻击成功率方面表现如何？
• RQ3 生成补丁的视觉保真度与目标检测 mAP 下降程度之间的权衡关系如何？
• RQ4 针对补丁附近物体（而非直接重叠物体）的攻击，在使用难以察觉的补丁时是否依然有效？
• RQ5 不同 GAN 架构（DCGAN 与 BigGAN）如何影响对抗性补丁的真实感与有效性？

主要发现

• 预训练 GAN（尤其是 BigGAN）生成的补丁在视觉真实感方面显著优于 PGD-GAN 或传统方法，经定性分析确认。
• 通过亮度与对比度变换优化的预训练 DCGAN 生成的补丁在攻击性能与视觉质量之间实现了最佳平衡，其 mAP 下降程度优于 PGD-GAN 方法。
• 使用 Hu 等人（2021）方法生成的补丁在 mAP 上与经变换的预训练 DCGAN 补丁相当，但在 'car' 类别上表现更差，且视觉真实感低于基于 BigGAN 的补丁。
• 经变换的预训练 BigGAN 生成的补丁视觉真实感最高，但攻击性能最弱，mAP 低至 4.4%，甚至劣于基线的黑色方块攻击。
• 所有基于 GAN 的方法相比干净图像均显著降低了 mAP，表明其具备有效的攻击能力，尽管未达到明显对抗补丁的性能水平。
• 研究结果证实存在明确的权衡关系：更高的视觉真实感（如使用 BigGAN）与更低的攻击成功率相关，而更有效的攻击（如使用 DCGAN）则以降低视觉保真度为代价。