[论文解读] Finding Physical Adversarial Examples for Autonomous Driving with Fast and Differentiable Image Compositing

Jinghan Yang, Adith Boloor+3 more|arXiv (Cornell University)|Oct 17, 2020

Adversarial Robustness in Machine Learning参考文献 13被引用 9

一句话总结

该论文提出了一种可微分的快速图像合成框架，通过将环境修改（例如道路矩形）建模为视频帧的可微分变换，生成可在模拟自动驾驶中物理实现的对抗性样本。该方法实现了端到端的基于梯度的优化，支持更强、可扩展的攻击，相较于贝叶斯优化方法在模拟运行次数减少10倍的情况下仍表现更优，在多种天气条件下实现了更高的偏离率和违规率。

ABSTRACT

There is considerable evidence that deep neural networks are vulnerable to adversarial perturbations applied directly to their digital inputs. However, it remains an open question whether this translates to vulnerabilities in real systems. For example, an attack on self-driving cars would in practice entail modifying the driving environment, which then impacts the video inputs to the car's controller, thereby indirectly leading to incorrect driving decisions. Such attacks require accounting for system dynamics and tracking viewpoint changes. We propose a scalable approach for finding adversarial modifications of a simulated autonomous driving environment using a differentiable approximation for the mapping from environmental modifications (rectangles on the road) to the corresponding video inputs to the controller neural network. Given the parameters of the rectangles, our proposed differentiable mapping composites them onto pre-recorded video streams of the original environment, accounting for geometric and color variations. Moreover, we propose a multiple trajectory sampling approach that enables our attacks to be robust to a car's self-correcting behavior. When combined with a neural network-based controller, our approach allows the design of adversarial modifications through end-to-end gradient-based optimization. Using the Carla autonomous driving simulator, we show that our approach is significantly more scalable and far more effective at identifying autonomous vehicle vulnerabilities in simulation experiments than a state-of-the-art approach based on Bayesian Optimization.

研究动机与目标

• 为解决在真实、动态且具备自纠正能力的条件下评估自动驾驶系统对抗鲁棒性的空白。
• 克服先前方法将对抗性样本视为独立帧扰动的局限性，这些方法未能考虑系统动态特性和视角变化。
• 开发一种可扩展的可微分流水线，支持在模拟中实现端到端基于梯度的优化，用于物理对抗性攻击。
• 生成可物理实现的对抗性样本（例如道路标记），并具备对天气和光照等环境变化的鲁棒性。
• 在真实世界部署前，实现对端到端神经网络控制器的大规模高效压力测试。

提出的方法

• 该方法使用可微分图像合成函数，将物理修改（例如道路上的彩色矩形）映射到对应的视频帧，通过学习的单应变换和颜色映射来考虑几何形变和颜色变化。
• 它利用预先录制的干净环境视频帧，通过可微分的形变和混合操作合成对抗性图案，支持通过合成过程进行反向传播。
• 采用多轨迹采样策略以模拟多样化的视角和自纠正行为，增强对动态车辆响应的攻击鲁棒性。
• 该框架与可微分神经网络控制器集成，支持端到端基于梯度的优化，以最大化转向偏差和控制误差。
• 通过鸟瞰图下的对抗性图案及其在真实驾驶帧上的投影，训练可微分合成模型，实现对物理场景变化的精确且高效的模拟。

实验结果

研究问题

• RQ1 可微分合成流水线能否有效建模从物理环境修改到自动驾驶模拟中视频输入的变换？
• RQ2 在生成对抗性样本方面，所提出方法与贝叶斯优化相比，在攻击成功率和模拟效率方面表现如何？
• RQ3 在攻击优化过程中未包含的天气和能见度变化条件下，所生成的对抗性样本在多大程度上具备鲁棒性？
• RQ4 在可微分合成上进行基于梯度的优化，是否能产生强于非可微分、黑盒优化方法的对抗性扰动？
• RQ5 该方法在多样化的驾驶场景和环境条件下，诱导车辆偏离和违规行为的效率如何？

主要发现

• 所提出的GradOpt方法在攻击成功率方面显著优于贝叶斯优化（BO）方法，在使用5个矩形的‘Right’转弯任务中，‘Clear Noon’条件下92%的场景下GradOpt优于BO。
• GradOpt将所需模拟运行次数减少一个数量级（BO为1000次，GradOpt约为100次），同时在诱导转向偏差和违规行为方面表现更优。
• 在‘Clear Sunset’和‘Rainy Noon’条件下，GradOpt保持了强大的可迁移性，即使在‘Clear Noon’条件下优化，仍有84–89%的攻击导致的惩罚高于BO。
• 该方法成功生成了能导致车辆偏离预定轨迹并造成违规的对抗性样本，即使在车辆具备自纠正能力时也表现出鲁棒性，证明了其对动态控制行为的鲁棒性。
• 可微分合成流水线支持端到端优化，使该方法能够发现比非可微分方法更有效的对抗性模式，尤其在复杂、多帧的驾驶序列中表现更优。