[论文解读] Design and Interpretation of Universal Adversarial Patches in Face Detection

Xiao Yang, Fangyun Wei+2 more|arXiv (Cornell University)|Nov 30, 2019

Adversarial Robustness in Machine Learning参考文献 48被引用 5

一句话总结

本文提出基于优化的方法设计通用对抗性补丁，通过使补丁呈现人脸特征，从而抑制最先进的面部检测器，降低误报率的同时保持高攻击成功率。该方法在不同尺度、位置和检测框架下均表现出强大的可迁移性与鲁棒性，且在 WIDER FACE 和 FDDB 数据集上的精确率/召回率性能显著下降。

ABSTRACT

We consider universal adversarial patches for faces -- small visual elements whose addition to a face image reliably destroys the performance of face detectors. Unlike previous work that mostly focused on the algorithmic design of adversarial examples in terms of improving the success rate as an attacker, in this work we show an interpretation of such patches that can prevent the state-of-the-art face detectors from detecting the real faces. We investigate a phenomenon: patches designed to suppress real face detection appear face-like. This phenomenon holds generally across different initialization, locations, scales of patches, backbones, and state-of-the-art face detection frameworks. We propose new optimization-based approaches to automatic design of universal adversarial patches for varying goals of the attack, including scenarios in which true positives are suppressed without introducing false positives. Our proposed algorithms perform well on real-world datasets, deceiving state-of-the-art face detectors in terms of multiple precision/recall metrics and transferability.

研究动机与目标

• 开发可可靠抑制真实面部检测的通用对抗性补丁，同时不引入误报。
• 探究为何对抗性补丁在设计用于干扰检测时，往往呈现人脸特征，即使未明确训练为此目的。
• 设计兼顾攻击有效性、可解释性与最低误报率的补丁优化方法。
• 评估补丁在不同面部检测模型、尺度和位置间的可迁移性。
• 通过分析补丁的视觉与结构特性与面部检测器之间的关系，提供对抗性补丁的可解释性。

提出的方法

• 提出 Patch-Score-Focal 与 Patch-Combination 优化目标，优先抑制真实阳性检测，同时最小化误报响应。
• 采用与输入图像无关的通用补丁形式，通过在多样化面部图像上端到端优化进行训练。
• 应用可微分损失函数，结合 IoU 抑制与焦点损失，以在训练过程中平衡难样本与易样本。
• 采用数据增强与多尺度训练，提升对抗性补丁的鲁棒性与可迁移性。
• 在多个面部检测框架（如 RetinaNet、SSD）和主干网络（ResNet、ResNeXt）上评估补丁性能。
• 引入一种补丁初始化策略，利用人脸特征模式以提升攻击效果与可解释性。

实验结果

研究问题

• RQ1 为何设计用于抑制面部检测的对抗性补丁，即使未明确训练为人脸特征，也常呈现人脸样貌？
• RQ2 能否设计出在面部检测中抑制真实阳性但不引入误报的通用对抗性补丁？
• RQ3 补丁的尺度与位置如何影响其在最先进检测器上的成功率？
• RQ4 这些对抗性补丁在不同面部检测模型与架构间的泛化程度如何？
• RQ5 补丁的视觉结构与其在干扰检测器置信度分数方面的有效性之间存在何种关系？

主要发现

• 在 WIDER FACE 的 'All' 数据集划分下，Patch-Score-Focal 与 Patch-Combination 方法在全尺寸补丁设置中分别实现 99.2% 的精确率与 9.2% 的召回率，显著抑制真实阳性检测。
• 当缩放至原始尺寸的 60% 时，Patch-Combination 方法在 'All' 划分中仍保持 99.4% 的精确率与 17.2% 的召回率，表明对尺寸变化具有强鲁棒性。
• 将补丁置于面部下方时，在 'All' 划分中实现 98.8% 的精确率与 10.7% 的召回率，表明位置影响性能，但未完全消除有效性。
• 与基线方法 Patch-IoU 相比，Patch-Score-Focal 方法显著降低误报率（后者在 'All' 划分中产生 22.4% 的误报）。
• 对抗性补丁表现出强可迁移性：在 ResNet-101 上，Patch-Score-Focal 方法在 'Hard' 划分中实现 99.3% 的精确率与 15.6% 的召回率，表明具备跨模型鲁棒性。
• 补丁呈现人脸样貌的现象在不同主干网络、初始化方法、尺度与检测框架间保持一致，表明这是检测器行为的一种基本属性。