[论文解读] Adversarial Attacks Beyond the Image Space

Xiaohui Zeng, Chenxi Liu+6 more|arXiv (Cornell University)|Nov 20, 2017

Adversarial Robustness in Machine Learning参考文献 48被引用 11

一句话总结

本文提出了一类针对3D物理属性（如表面法线、光照和材质）的对抗性攻击，而非传统的2D图像像素级扰动。通过将可微或不可微的渲染器集成到深度神经网络中，作者证明了在物理空间中实现成功攻击是可能的，尽管这类攻击需要显著更大的扰动，并且成功率低于图像空间攻击。

ABSTRACT

Generating adversarial examples is an intriguing problem and an important way of understanding the working mechanism of deep neural networks. Most existing approaches generated perturbations in the image space, i.e., each pixel can be modified independently. However, in this paper we pay special attention to the subset of adversarial examples that correspond to meaningful changes in 3D physical properties (like rotation and translation, illumination condition, etc.). These adversaries arguably pose a more serious concern, as they demonstrate the possibility of causing neural network failure by easy perturbations of real-world 3D objects and scenes. In the contexts of object classification and visual question answering, we augment state-of-the-art deep neural networks that receive 2D input images with a rendering module (either differentiable or not) in front, so that a 3D scene (in the physical space) is rendered into a 2D image (in the image space), and then mapped to a prediction (in the output space). The adversarial perturbations can now go beyond the image space, and have clear meanings in the 3D physical world. Though image-space adversaries can be interpreted as per-pixel albedo change, we verify that they cannot be well explained along these physically meaningful dimensions, which often have a non-local effect. But it is still possible to successfully attack beyond the image space on the physical space, though this is more difficult than image-space attacks, reflected in lower success rates and heavier perturbations required.

研究动机与目标

• 探究当直接作用于3D物理场景参数而非2D图像像素时，深度神经网络是否仍对对抗性扰动保持脆弱性。
• 开发一种框架，通过渲染模块将3D物理参数（如光照、材质、法线）与2D图像输出相连接，实现在物理空间中的基于梯度的攻击。
• 评估此类攻击在物体分类和视觉问答任务中的可行性与鲁棒性。
• 探讨对防御机制的影响，特别是通过重新渲染对抗性输入以中和图像空间扰动。

提出的方法

• 在最先进的深度神经网络之前集成可微或不可微的渲染模块，以将3D物理参数映射为2D图像输出。
• 对可微渲染使用基于梯度的迭代快速梯度符号法（FGSM）进行对抗性攻击，对不可微渲染使用零阶优化（ZOO）。
• 在图像强度空间中约束扰动，以确保视觉不可察觉性，通过感知度量（p）进行衡量。
• 优化物理参数（如表面法线、光照、材质）以最大化目标类别损失，同时最小化感知失真。
• 采用黑盒设置，攻击无需访问视觉模型的内部结构，仅需最终预测结果。
• 在两个基准上验证该方法：ShapeNet用于3D物体分类，CLEVR用于视觉问答。

实验结果

研究问题

• RQ1 能否通过扰动3D物理参数（如光照、材质、表面法线）而非2D图像像素来成功生成对抗性样本？
• RQ2 与传统图像空间攻击相比，物理空间攻击的成功率和所需扰动幅度有何差异？
• RQ3 物理空间对抗者是否可被解释为3D场景中具有意义的非局部变化，如物体旋转或光照偏移？
• RQ4 即使事先不知道问题或答案，攻击策略是否仍能自动利用模型弱点（如对颜色的依赖）？
• RQ5 在物理空间中重新渲染对抗性输入是否可作为抵御图像空间对抗样本的防御机制？

主要发现

• 物理空间攻击是可行的，但远比图像空间攻击困难，使用不可微渲染时在CLEVR中仅100个目标中有22次成功攻击，而图像空间中为100个中有66次成功。
• 物理空间攻击的成功率较低，且需要显著更大的扰动才能实现误分类，表明物理参数空间具有更高的鲁棒性。
• 图像空间对抗样本无法通过有意义的3D物理变化（如旋转或光照偏移）良好解释，表明其在物理上不可行。
• 尽管是黑盒攻击，该方法仍能自动针对最脆弱的特征（如颜色）进行攻击，即使事先不知道问题内容。
• 基于合成的分析方法（重新渲染物理扰动）可中和图像空间对抗样本，表明一种基于物理解释的新防御策略。
• 在视觉问答任务中，对材质参数的攻击受感知度约束限制，与其它物理参数相比成功率无显著差异。