[论文解读] Enhancing Cross-task Black-Box Transferability of Adversarial Examples with Dispersion Reduction

Yantao Lu, Yunhan Jia+5 more|arXiv (Cornell University)|Nov 22, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用 9

一句话总结

该论文提出了一种名为分散度降低（Dispersion Reduction, DR）的新颖黑盒对抗攻击方法，通过最小化卷积神经网络中中间特征图的分散度，提升跨任务的迁移能力。通过在早期层减少特征图对比度——这些层共享低级特征——该方法生成的扰动能有效降低多种计算机视觉任务（分类、检测、分割、内容过滤、文本识别）的性能，且 $l_∞ \leq 16$，优于最先进的攻击方法如 MI-FGSM 和 DIM。

ABSTRACT

Neural networks are known to be vulnerable to carefully crafted adversarial examples, and these malicious samples often transfer, i.e., they remain adversarial even against other models. Although great efforts have been delved into the transferability across models, surprisingly, less attention has been paid to the cross-task transferability, which represents the real-world cybercriminal's situation, where an ensemble of different defense/detection mechanisms need to be evaded all at once. In this paper, we investigate the transferability of adversarial examples across a wide range of real-world computer vision tasks, including image classification, object detection, semantic segmentation, explicit content detection, and text detection. Our proposed attack minimizes the ``dispersion'' of the internal feature map, which overcomes existing attacks' limitation of requiring task-specific loss functions and/or probing a target model. We conduct evaluation on open source detection and segmentation models as well as four different computer vision tasks provided by Google Cloud Vision (GCV) APIs, to show how our approach outperforms existing attacks by degrading performance of multiple CV tasks by a large margin with only modest perturbations linf=16.

研究动机与目标

• 为解决在使用集成检测机制的真实系统中，缺乏在多种计算机视觉任务间有效迁移的黑盒攻击问题。
• 开发一种不依赖于特定任务损失函数或探测目标模型的可迁移攻击方法。
• 使用单一统一的方法，提升对抗样本在多个计算机视觉任务（分类、目标检测、语义分割、显性内容检测和文本检测）中的鲁棒性。
• 为评估安全关键应用中模型对跨任务规避攻击的鲁棒性，建立一个强有力的基线。

提出的方法

• 该方法针对中间卷积层（如 VGG-16 中的 conv3.3，ResNet-152 中的 conv3.8.3）降低特征图分散度，将其作为特征空间中感知对比度的代理指标。
• 使用 Adam 优化器以学习率 5e-2 和 betas β₁=0.98, β₂=0.99 最小化分散度，迭代更新输入以降低特征图方差。
• 该攻击方法对源模型无依赖性，仅使用标准 ImageNet 分类模型（如 VGG-16、ResNet-152）作为替代模型。
• 通过聚焦于内部特征统计而非预测目标，避免使用任务特定损失函数，从而实现广泛迁移能力。
• 将扰动限制在 $l_∞ \leq 16$ 范围内，以保持与原始输入的视觉相似性。
• 该方法基于假设：低级特征在各类计算机视觉模型中是共享的，因此抑制特征图分散度可统一破坏所有下游任务。

实验结果

研究问题

• RQ1 在早期层降低特征图分散度，是否能提升对抗样本在多种计算机视觉任务间的跨任务迁移能力？
• RQ2 在不探测目标模型的前提下，与基于任务损失的攻击方法（如 MI-FGSM、DIM）相比，分散度降低方法在黑盒设置下的表现如何？
• RQ3 单一、简单的攻击方法在多大程度上能破坏多个真实世界视觉 API（包括 Google Cloud Vision 的分类、目标检测、SafeSearch 和文本检测服务）的性能？
• RQ4 最小化特征分散度是否会导致生成‘无特征’的输入，从而在任何下游任务中均被普遍误分类？
• RQ5 该方法能否作为评估集成检测系统中模型鲁棒性的强大、通用基线？

主要发现

• DR 攻击使 Google Cloud Vision 的 Labels 任务 Top-1 准确率降至 23%，SafeSearch 准确率降至 35%，显著优于 MI-FGSM（38%）和 DIM（43%）。
• 在目标检测任务中，DR 使 mAP 降至 IoU=0.5 时的 32.9%，文本检测中的单词识别准确率则骤降至 4.1%。
• 在 ICDAR 2017 基准测试中，文本定位 AP 降至 20.9%，表明该方法在定位与识别两方面均造成显著性能下降。
• 该攻击保持了与原始图像的高度视觉相似性，$l_∞ \leq 16$，确保扰动几乎不可察觉。
• DR 仅使用单一源模型且无需任务特定损失，即在 Google Cloud Vision 的四大 API（分类、目标检测、SafeSearch、文本检测）中均表现卓越。
• 可视化结果证实，对抗样本在视觉上与原始图像相似，但能持续欺骗所有目标模型，验证了该方法的广泛迁移能力。