[论文解读] Generating Semantic Adversarial Examples with Differentiable Rendering

Lakshya Jain, Steven Chen+5 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用 8

一句话总结

本文提出了一种新颖的方法，通过利用可微分渲染和逆图形技术，对语义环境（例如改变天空状况）进行扰动，而非像素级噪声，来生成语义对抗性样本（SAEs）。该方法能够生成更加自然、语义上更有意义的扰动，同时仍可欺骗深度神经网络，有效规避标准的对抗性防御机制。

ABSTRACT

Machine learning (ML) algorithms, especially deep neural networks, have demonstrated success in several domains. However, several types of attacks have raised concerns about deploying ML in safety-critical domains, such as autonomous driving and security. An attacker perturbs a data point slightly in the concrete feature space (e.g., pixel space) and causes the ML algorithm to produce incorrect output (e.g. a perturbed stop sign is classified as a yield sign). These perturbed data points are called adversarial examples, and there are numerous algorithms in the literature for constructing adversarial examples and defending against them. In this paper we explore semantic adversarial examples (SAEs) where an attacker creates perturbations in the semantic space representing the environment that produces input for the ML model. For example, an attacker can change the background of the image to be cloudier to cause misclassification. We present an algorithm for constructing SAEs that uses recent advances in differential rendering and inverse graphics.

研究动机与目标

• 解决机器学习模型在自动驾驶等安全关键应用中对对抗性攻击的脆弱性问题。
• 探索通过修改语义场景属性（如天气、光照）而非低层次像素扰动来生成对抗性样本的方法。
• 开发一种利用可微分渲染和逆图形技术生成真实、语义上合理对抗性样本的方法。
• 评估此类语义扰动在规避标准对抗性鲁棒性防御机制方面的有效性。

提出的方法

• 利用可微分渲染实现通过渲染过程的梯度计算，使反向传播能够从模型预测结果追溯到语义场景参数。
• 使用逆图形技术推断出在渲染后能产生期望模型输出的场景参数（例如光照、天空颜色）。
• 优化语义场景属性（如云密度、环境光）以生成导致输入图像误分类的对抗性样本。
• 将可微分渲染管道与神经网络分类器集成，实现语义扰动的端到端优化。
• 采用可微分渲染器模拟从场景参数生成逼真图像的过程，确保扰动在视觉上合理。
• 应用优化技术，在最小化语义空间中扰动的同时最大化模型的误分类损失。

实验结果

研究问题

• RQ1 能否利用可微分渲染生成通过修改如天气或光照等高层次场景属性的语义对抗性样本？
• RQ2 与传统的像素级对抗性攻击相比，这些语义扰动在导致误分类方面的有效性如何？
• RQ3 语义对抗性样本在多大程度上能够规避针对像素空间扰动设计的标准对抗性防御机制？
• RQ4 生成的语义对抗性样本在真实感和感知合理性方面如何？

主要发现

• 所提出的方法成功生成了能够改变如天空状况和光照等高层次场景属性的语义对抗性样本。
• 生成的对抗性样本在深度神经网络分类器上实现了与传统基于像素的攻击相当的高欺骗率。
• 语义对抗性样本对针对像素级扰动设计的标准对抗性防御技术表现出更强的鲁棒性。
• 扰动在视觉上合理且具有语义意义，使其更难通过视觉检查被发现。