[论文解读] Bias-based Universal Adversarial Patch Attack for Automatic Check-out

Aishan Liu, Jiakai Wang+4 more|arXiv (Cornell University)|May 19, 2020

Adversarial Robustness in Machine Learning参考文献 28被引用 12

一句话总结

本文提出了一种基于偏置的框架，通过利用深度神经网络中的感知（基于纹理）和语义（基于原型）偏置，为自动结账（ACO）系统生成类无关的通用对抗性补丁。通过从高不确定性样本中提取纹理先验，并利用类别原型最大化多类别间隔，该方法实现了强大的泛化能力，在数字世界（RPC）和物理世界（淘宝、京东）基准测试中均优于当前最先进方法，仅使用1,000个原型时，top-1准确率降至5.40%。

ABSTRACT

Adversarial examples are inputs with imperceptible perturbations that easily misleading deep neural networks(DNNs). Recently, adversarial patch, with noise confined to a small and localized patch, has emerged for its easy feasibility in real-world scenarios. However, existing strategies failed to generate adversarial patches with strong generalization ability. In other words, the adversarial patches were input-specific and failed to attack images from all classes, especially unseen ones during training. To address the problem, this paper proposes a bias-based framework to generate class-agnostic universal adversarial patches with strong generalization ability, which exploits both the perceptual and semantic bias of models. Regarding the perceptual bias, since DNNs are strongly biased towards textures, we exploit the hard examples which convey strong model uncertainties and extract a textural patch prior from them by adopting the style similarities. The patch prior is more close to decision boundaries and would promote attacks. To further alleviate the heavy dependency on large amounts of data in training universal attacks, we further exploit the semantic bias. As the class-wise preference, prototypes are introduced and pursued by maximizing the multi-class margin to help universal training. Taking AutomaticCheck-out (ACO) as the typical scenario, extensive experiments including white-box and black-box settings in both digital-world(RPC, the largest ACO related dataset) and physical-world scenario(Taobao and JD, the world' s largest online shopping platforms) are conducted. Experimental results demonstrate that our proposed framework outperforms state-of-the-art adversarial patch attack methods.

研究动机与目标

• 解决现有通用对抗性补丁攻击泛化能力有限的问题，尤其在未见类别上表现不佳。
• 降低通用攻击生成对大规模训练数据的依赖。
• 利用模型固有的偏置——特别是纹理和类别间语义偏好——以实现更强健、更具迁移能力的攻击。
• 在真实ACO场景中验证该框架，包括在淘宝和京东平台上的物理世界部署。

提出的方法

• 从表现出高模型不确定性的困难样本中提取纹理先验，利用风格相似性识别靠近决策边界的纹理模式。
• 引入类别原型作为语义先验，以编码强类别特异性特征，提升通用攻击的泛化能力。
• 通过最大化类别原型之间的多类别间隔，增强对未见类别的鲁棒性与迁移能力。
• 在训练过程中引入包含旋转、形变和仿射变换的增强模块，以提升在真实世界环境变化下的鲁棒性。
• 使用原型与真实图像的组合进行对抗性补丁训练，并通过消融研究评估数据效率。
• 在白盒与黑盒设置下，以ResNet-152为目标模型，在数字世界（RPC）和物理世界（淘宝、京东）数据集上进行训练。

实验结果

研究问题

• RQ1 能否利用感知偏置——特别是基于纹理的特征——来生成更有效的通用对抗性补丁？
• RQ2 通过类别原型建模的语义偏置，能否在降低训练数据需求的同时提升通用攻击的泛化能力？
• RQ3 所提出的框架在真实世界ACO系统中的攻击效果如何，包括在大型电商平台上的物理世界部署？
• RQ4 数据增强与变换模块在多大程度上提升了通用对抗性补丁在环境变化下的鲁棒性？
• RQ5 与使用原始图像数据相比，使用原型在攻击性能和数据效率方面有何差异？

主要发现

• 仅使用1,000个原型，该方法在未见类别上的top-1准确率降至5.40%，显著优于依赖原始图像数据的方法。
• 使用1,000个原型即可实现与使用10,000张真实商品图像相当的攻击性能，表明所需训练数据量减少50%。
• 使用原型与图像混合训练（如500:500）可实现10.03%的top-1准确率，优于纯图像基训练（1,000张图像时为12.43%）。
• 变换模块提升了攻击成功率：形变增强使准确率从无增强时的30.70%降至22.26%，表明鲁棒性显著提升。
• 该方法能有效泛化至未见类别及物理世界部署，在淘宝和京东平台的真实ACO系统中成功实现攻击。
• 消融研究证实，感知（纹理）与语义（原型）偏置均不可或缺，二者共同促进攻击泛化能力与数据效率的提升。