[論文レビュー] PhysGAN: Generating Physical-World-Resilient Adversarial Examples for Autonomous Driving

Zelun Kong, Junfeng Guo+2 more|arXiv (Cornell University)|Jul 9, 2019

Adversarial Robustness in Machine Learning参考文献 45被引用数 4

ひとこと要約

PhysGAN は、複数フレームの動画入力を活用して、自律走行システム向けに物理的にプリント可能で視覚的に区別がつかない悪意ある例を生成する GAN ベースのフレームワークである。実世界のテストでは平均で最大 19.17 度のステアリング角度誤差を達成し、デジタルおよび物理的環境下での評価において、最先端のベースラインを上回っている。

ABSTRACT

Although Deep neural networks (DNNs) are being pervasively used in vision-based autonomous driving systems, they are found vulnerable to adversarial attacks where small-magnitude perturbations into the inputs during test time cause dramatic changes to the outputs. While most of the recent attack methods target at digital-world adversarial scenarios, it is unclear how they perform in the physical world, and more importantly, the generated perturbations under such methods would cover a whole driving scene including those fixed background imagery such as the sky, making them inapplicable to physical world implementation. We present PhysGAN, which generates physical-world-resilient adversarial examples for mislead-ing autonomous driving systems in a continuous manner. We show the effectiveness and robustness of PhysGAN via extensive digital and real-world evaluations. Digital experiments show that PhysGAN is effective for various steer-ing models and scenes, which misleads the average steer-ing angle by up to 23.06 degrees under various scenarios. The real-world studies further demonstrate that PhysGAN is sufficiently resilient in practice, which misleads the average steering angle by up to 19.17 degrees. We compare PhysGAN with a set of state-of-the-art baseline methods including several of our self-designed ones, which further demonstrate the robustness and efficacy of our approach. We also show that PhysGAN outperforms state-of-the-art baseline methods To the best of our knowledge, PhysGANis probably the first technique of generating realistic and physical-world-resilient adversarial examples for attacking common autonomous driving scenarios.

研究の動機と目的

• 視覚的にリアルで、視界角度や照明の変化といった現実世界の動的要因に耐性を持つ物理的展開が可能な悪意ある例を生成するというギャップを埋める。
• 固定された背景（例：空）までを変更してしまう既存のデジタル悪意ある攻撃の限界を克服し、物理的展開に不適切であることを目的とする。
• 連続的な走行軌道にわたり回帰ベースのステアリングモデルを継続的に誤導する、1つの単一のプリント可能な悪意ある例を開発すること。
• 実世界のカメラ撮影条件下でも、元の道路標識と視覚的に区別がつかないまま、悪意ある例が維持されることを保証すること。
• 攻撃効果をデジタルシミュレーションおよび実世界の物理的展開の両方で評価し、自律走行車両に及ぼす実用的で危険な影響を示すこと。

提案手法

• PhysGAN は、複数フレームにわたる時間的ダイナミクスをモデル化するため、3D テンソル入力を用いた GAN アーキテクチャを採用しており、距離や角度の変化といった現実世界の変動に耐性を高めている。
• 生成器は、ターゲットのステアリングモデルから抽出された特徴（CNN を用いた特徴抽出器）に条件付けられており、生成された悪意ある例がモデルの内部表現と整合するようにしている。
• フレームワークは、現実世界の整合性を保証するため、現実のカメラ撮影下で自然に見えるようにするために、現実性と物理的整合性を強制するディスクライマーを用いている。
• 訓練プロセスでは、攻撃成功（ステアリング予測の誤導）と視覚的忠実度の両方を最適化し、知覚的損失関数と悪意ある損失関数を用いている。
• フレームごとの摂動を避けるために、走行シーケンスの全フレームにわたって効果を保つ、1つの固定された悪意あるプリントアウトを生成する。
• 生成時にカメラ効果（例：ぼやけ、照明）をシミュレートすることで、物理的展開可能性を確保する物理的制約を組み込んでいる。

実験結果

リサーチクエスチョン

• RQ1 1つの物理的プリント可能な悪意ある例を生成でき、それが複数フレームにわたって回帰ベースの自律走行ステアリングモデルを継続的に誤導できるか？
• RQ2 PhysGAN の攻撃効果は、シミュレーション環境および実世界環境において、最先端のデジタルおよび物理的攻撃手法と比較してどのように差がつくか？
• RQ3 PhysGAN は、実世界の走行条件下で高い攻撃効果を達成しつつ、視覚的リアリズムをどの程度維持できるか？
• RQ4 3D 動画入力を用いることで、単一フレームまたはデジタルのみの攻撃手法と比較して、著しく耐性が向上するか？
• RQ5 PhysGAN が生成した悪意ある例は、実際の自律走行車両に展開された場合、危険な走行行動を引き起こすか？

主な発見

• デジタル環境下の評価では、さまざまなステアリングモデルやシナリオにおいて、PhysGAN は最大 21.85 度の平均ステアリング角度誤差を達成した。
• 実世界の物理的環境下の評価では、PhysGAN は最大 19.17 度の平均ステアリング角度誤差を誘発し、高い耐性と実用的攻撃効果を示した。
• オンライン走行ケーススタディでは、唯一 PhysGAN が生成した悪意ある標識が、車両を路側に逸脱させる原因となり、5 mph で 10 秒かけて路側の縁に到達した。
• PhysFGSM やランダムノイズ、元の標識と比較して、PhysGAN は顕著に優れた性能を示した。特に、元の標識はステアリング行動にほとんど影響を与えなかった。
• ステアリング角度誤差はフレームインデックスとともに増加しており、フレーム内での悪意ある標識の存在が大きいほど、誤導効果が強くなることが示された。
• フレームワークは、連続的な走行フレームにわたり攻撃効果を維持する、視覚的に区別がつかない1つの悪意あるプリントアウトを成功裏に生成し、物理的環境への耐性を実証した。