[論文レビュー] Finding Physical Adversarial Examples for Autonomous Driving with Fast and Differentiable Image Compositing

Jinghan Yang, Adith Boloor+3 more|arXiv (Cornell University)|Oct 17, 2020

Adversarial Robustness in Machine Learning参考文献 13被引用数 9

ひとこと要約

本稿では、動的で自己修正可能な条件下におけるシミュレーテッド自動運転の物理的実現可能な adversarial examples を生成するため、動画フレームへの環境的変更（例：道路の長方形）を微分可能変換としてモデル化する、微分可能で高速な画像合成フレームワークを提案する。これにより、より強力でスケーラブルな攻撃が可能となり、10倍少ないシミュレーション実行回数でベイズ最適化を上回り、さまざまな天候条件下で高い逸脱率と違反率を達成する。

ABSTRACT

There is considerable evidence that deep neural networks are vulnerable to adversarial perturbations applied directly to their digital inputs. However, it remains an open question whether this translates to vulnerabilities in real systems. For example, an attack on self-driving cars would in practice entail modifying the driving environment, which then impacts the video inputs to the car's controller, thereby indirectly leading to incorrect driving decisions. Such attacks require accounting for system dynamics and tracking viewpoint changes. We propose a scalable approach for finding adversarial modifications of a simulated autonomous driving environment using a differentiable approximation for the mapping from environmental modifications (rectangles on the road) to the corresponding video inputs to the controller neural network. Given the parameters of the rectangles, our proposed differentiable mapping composites them onto pre-recorded video streams of the original environment, accounting for geometric and color variations. Moreover, we propose a multiple trajectory sampling approach that enables our attacks to be robust to a car's self-correcting behavior. When combined with a neural network-based controller, our approach allows the design of adversarial modifications through end-to-end gradient-based optimization. Using the Carla autonomous driving simulator, we show that our approach is significantly more scalable and far more effective at identifying autonomous vehicle vulnerabilities in simulation experiments than a state-of-the-art approach based on Bayesian Optimization.

研究の動機と目的

• 現実的で動的かつ自己修正可能な条件下における自動運転システムの adversarial robustness 評価のギャップを埋める。
• 従来の方法がフレームごとの独立した摂動として adversarial examples を扱うため、システムのダイナミクスや視点の変化を考慮できないという制限を克服する。
• エンドツーエンドの勾配ベース最適化を可能にする、スケーラブルで微分可能なパイプラインを開発する。
• 物理的に実現可能な（例：道路標示）で、天候や照明の変化に対しても頑健な adversarial examples を生成する。
• 実世界への展開前に、エンドツーエンドのニューラルネットワーク制御システムの効率的で大規模なストレステストを可能にする。

提案手法

• 物理的変更（例：道路への色付き長方形）を対応する動画フレームにマッピングする微分可能画像コンポジティング関数を用い、学習されたホモグラフィーと色マッピングを介して幾何的歪みと色の変化を考慮する。
• 清浄な環境からの事前記録済み動画フレームを用い、微分可能なワープおよびブレンド操作を用いて adversarial パatters を合成することで、コンポジティングプロセスを逆伝播可能にする。
• 多様な視点と自己修正行動をシミュレートするために、複数のトラジェクトリーサンプリング戦略を採用し、動的な車両応答への攻撃の頑健性を向上させる。
• 微分可能なニューラルネットワーク制御システムと統合することで、ステアリング逸脱と制御エラーを最大化するエンドツーエンドの勾配ベース最適化を可能にする。
• エンドツーエンドの最適化を可能にするために、adversarial patterns のエイドエイビューと実際のドライブフレームへの投影を学習し、物理的シーン変化の正確で効率的なシミュレーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能コンポジティングパイプラインは、自動運転シミュレーションにおける物理的環境変更から動画入力への変換を効果的にモデル化できるか？
• RQ2 本手法は、adversarial examples の生成において、ベイズ最適化と比較して攻撃成功率とシミュレーション効率の両面で優れているか？
• RQ3 攻撃最適化時に存在しなかった天候や視界条件の変化に対して、生成された adversarial examples はどの程度頑健か？
• RQ4 微分可能なコンポジティングを介した勾配ベース最適化は、非微分可能でブラックボックス最適化手法よりも強力な adversarial パターンを生成できるか？
• RQ5 本手法は、多様な走行シナリオと環境条件下で、車両の逸脱と違反をどの程度効果的に引き起こせるか？

主な発見

• 提案手法 GradOpt は、ベイズ最適化（BO）を著しく上回る高い攻撃成功率を達成し、特に『Clear Noon』条件下での『Right』ターンにおいて、5つの長方形を用いた場合に92%のシナリオで BO を上回る。
• GradOpt は、シミュレーション実行回数を10倍削減（BO では1000回、GradOpt では約100回）しながら、ステアリング逸脱と違反の誘発において優れた性能を発揮する。
• 『Clear Sunset』および『Rainy Noon』条件下でも、GradOpt は強い転送性を維持し、BO よりも84～89%の攻撃で高いペナルティを誘発する。これは、『Clear Noon』条件下での最適化でも同様に成立する。
• 本手法は、車両が自己修正する場合でさえ、意図した経路から逸脱させたり違反を引き起こしたりする adversarial examples を効果的に生成でき、動的制御行動への頑健性を示している。
• 微分可能なコンポジティングパイプラインにより、エンドツーエンド最適化が可能となり、とくに複雑なマルチフレーム走行シーケンスにおいて、非微分可能アプローチよりも効果的な adversarial パatters を発見できる。