[论文解读] Improving the Transferability of Targeted Adversarial Examples through Object-Based Diverse Input

Junyoung Byun, Seungju Cho+3 more|arXiv (Cornell University)|Mar 17, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种新型数据增强方法——基于物体的多样化输入（ODI），通过在不同视角和光照条件下将2D对抗性样本投影到3D物体表面，提升了定向对抗攻击的迁移能力。借助真实的3D渲染多样性，ODI将ImageNet上定向攻击的平均成功率从28.3%提升至47.0%，显著优于当前最先进方法。

ABSTRACT

The transferability of adversarial examples allows the deception on black-box models, and transfer-based targeted attacks have attracted a lot of interest due to their practical applicability. To maximize the transfer success rate, adversarial examples should avoid overfitting to the source model, and image augmentation is one of the primary approaches for this. However, prior works utilize simple image transformations such as resizing, which limits input diversity. To tackle this limitation, we propose the object-based diverse input (ODI) method that draws an adversarial image on a 3D object and induces the rendered image to be classified as the target class. Our motivation comes from the humans' superior perception of an image printed on a 3D object. If the image is clear enough, humans can recognize the image content in a variety of viewing conditions. Likewise, if an adversarial example looks like the target class to the model, the model should also classify the rendered image of the 3D object as the target class. The ODI method effectively diversifies the input by leveraging an ensemble of multiple source objects and randomizing viewing conditions. In our experimental results on the ImageNet-Compatible dataset, this method boosts the average targeted attack success rate from 28.3% to 47.0% compared to the state-of-the-art methods. We also demonstrate the applicability of the ODI method to adversarial examples on the face verification task and its superior performance improvement. Our code is available at https://github.com/dreamflake/ODI.

研究动机与目标

• 解决现有图像增强技术在提升对抗样本迁移能力方面输入多样性不足的问题。
• 探究3D物体渲染是否可作为比简单2D变换更具真实感和多样性的数据增强策略。
• 通过模拟真实世界的视觉变化，提升定向对抗样本对源模型过拟合的鲁棒性。
• 证明ODI方法在图像分类之外任务中的泛化能力，包括人脸验证任务。
• 提供一种实用且高效的黑盒定向攻击方法，可在无需大量超参数调优的情况下提升迁移成功率。

提出的方法

• ODI方法在生成对抗性样本阶段，将2D对抗性样本投影到3D物体（如靠垫或水杯）的表面。
• 它利用多个3D源物体，并随机化渲染参数，包括相机距离、视角角度、光照条件和背景类型。
• 通过模拟真实世界的视角、光照和遮挡变化，生成对视角、照明和遮挡变化具有鲁棒性的对抗性样本。
• 使用支持真实材质和光照模型的3D图形引擎进行渲染，确保输入分布的多样性和真实性。
• 在优化对抗损失时，采用标准的定向攻击目标（如交叉熵损失），同时强制投影后的3D渲染图像被分类为目标类别。
• 该方法与现有攻击框架（如MI-FGSM和TI-FGSM）兼容，可与动量和虚拟对抗训练等技术结合使用。

实验结果

研究问题

• RQ1 与标准2D数据增强相比，将对抗性样本投影到3D物体上是否能提升其在黑盒模型上的迁移能力？
• RQ2 3D物体的选择（如水杯与靠垫）如何影响定向对抗攻击的成功率？
• RQ3 由不同相机角度、光照和背景带来的输入多样性是否显著增强对抗性样本的泛化能力？
• RQ4 ODI方法能否有效扩展至非图像分类任务，如人脸验证？
• RQ5 背景类型和渲染参数范围对最终攻击成功率有何影响？

主要发现

• 在四个源模型和十个目标模型上，ODI方法将ImageNet上定向攻击的平均成功率从28.3%提升至47.0%，显著优于当前最先进方法。
• 使用多样化的3D物体组合（如靠垫、水杯）比仅使用单一物体能获得更高的攻击成功率，表明物体多样性有助于提升泛化能力。
• 与纯黑背景和模糊图像背景相比，随机像素值背景在提升迁移能力方面表现更优，且在此条件下取得最高成功率。
• 在LFW人脸验证基准测试中，ODI-MI-TI-VT将欺骗攻击的成功率平均提升12.0%，将躲避攻击的成功率平均提升7.2%，适用于三个黑盒模型。
• 该方法在无需额外超参数调优的情况下实现显著性能提升，展现出强大的实际应用价值和鲁棒性。
• 随着相机距离和视角角度范围的扩大，攻击成功率持续上升，证实了在合理范围内更高的渲染多样性可进一步提升迁移能力。