[論文レビュー] Attacking Vision-based Perception in End-to-End Autonomous Driving Models

Adith Boloor, Karthik Garimella+4 more|arXiv (Cornell University)|Oct 2, 2019

Adversarial Robustness in Machine Learning参考文献 36被引用数 9

ひとこと要約

本論文は、道路に塗装された黒い線を用いて、エンドツーエンドの自動運転モデルに対する物理的に実現可能な敵対的攻撃を体系的に生成するフレームワークを提示する。ベイズ最適化と新規の目的関数を活用することで、著者らは、単純で疑わしげではない道路標識が、特に右折時において深刻な物理的影響（車線逸脱や衝突）を引き起こすことを実証した。さらに、攻撃者指定の経路に車両を誘導するハイジャック攻撃を可能にした。

ABSTRACT

Recent advances in machine learning, especially techniques such as deep neural networks, are enabling a range of emerging applications. One such example is autonomous driving, which often relies on deep learning for perception. However, deep learning-based perception has been shown to be vulnerable to a host of subtle adversarial manipulations of images. Nevertheless, the vast majority of such demonstrations focus on perception that is disembodied from end-to-end control. We present novel end-to-end attacks on autonomous driving in simulation, using simple physically realizable attacks: the painting of black lines on the road. These attacks target deep neural network models for end-to-end autonomous driving control. A systematic investigation shows that such attacks are easy to engineer, and we describe scenarios (e.g., right turns) in which they are highly effective. We define several objective functions that quantify the success of an attack and develop techniques based on Bayesian Optimization to efficiently traverse the search space of higher dimensional attacks. Additionally, we define a novel class of hijacking attacks, where painted lines on the road cause the driver-less car to follow a target path. Through the use of network deconvolution, we provide insights into the successful attacks, which appear to work by mimicking activations of entirely different scenarios. Our code is available at https://github.com/xz-group/AdverseDrive

研究の動機と目的

• エンドツーエンドの深層学習ベースの自動運転システムが、物理的に実現可能で単純かつ疑わしくない環境の操作に対してどれほど脆弱であるかを調査すること。
• 隔離された敵対的例と、閉ループの自動制御システムにおける現実世界の物理的結果との間のギャップを埋めること。
• 物理的障害の結果（例：衝突、車線逸脱）を最大化する高影響力の敵対的攻撃を生成するための効率的な最適化戦略を開発すること。
• 塗装された線が、正しい経路とは異なる攻撃者が選択した経路に車両を誘導するという、新しいハイジャック攻撃を探索・実証すること。
• ニューラル活性化空間における顕著な特徴を可視化するネットワークのデコンボリューションを用いて、攻撃がなぜ成功するかの解釈可能性を提供すること。

提案手法

• 著者らは、制御された物理的摂動下でエンドツーエンドモデルを評価するために、CARLA自動運転シミュレータを用いる。
• 攻撃の成功度を定量化するための複数の目的関数を定義しており、これには車線逸脱、衝突イベント、目的ルートからの経路逸脱が含まれる。
• 攻撃効果を最大化するため、塗装ラインのパターン（例：位置、長さ、方向）の高次元空間を効率的に探索するためにベイズ最適化が用いられる。
• 塗装ラインが正しい運転行動と矛盾しても、車両を標的経路に誘導するという、新しいクラスの「ハイジャック」攻撃が導入される。
• ネットワークのデコンボリューション（DeConvNet）を用いて、第5畳み込み層における高い応答を示す入力特徴（例：塗装ライン）を可視化し、攻撃が道路の縁やフェンスを模倣している様子を明らかにする。
• 本手法は、スリップマークや工事用線など、意味的に目立たない単一および複数ラインのパターンに焦点を当てており、物理的に実現可能で検出が難しいものである。

実験結果

リサーチクエスチョン

• RQ1 単純で物理的に実現可能な道路標識、例えば塗装された黒い線が、エンドツーエンドの自動運転モデルに深刻な物理的障害を引き起こすことができるか？
• RQ2 右折、左折、直進といった異なる走行シナリオにおいて、このような攻撃の有効性はどのように変化するか？
• RQ3 ベイズ最適化を用いることで、高次元の攻撃空間において高影響力の敵対的パターンを効率的に生成できるか？
• RQ4 塗装された線をどれほど活用して、攻撃者が選択した経路に車両の行動を誘導できるか？
• RQ5 特定の塗装パターンが誤分類を引き起こす理由を説明する内部ニューラル活性化は何か？また、それらは実際に道路の特徴（縁石やフェンス）をどのように模倣しているか？

主な発見

• 右折時が最も脆弱な走行シナリオであり、塗装された黒い線が車両を左にステアリングし、衝突を引き起こす。その際、線は意味的に目立たないままである。
• 右折シナリオにおける攻撃成功率は、直進走行と比較して顕著に高く、直進走行はこのような摂動に対して比較的頑健である。
• 適切に設計された目的関数を用いたベイズ最適化により、著者らはシミュレーションで車線逸脱や衝突を引き起こす敵対的パターンを成功裏に生成した。
• ネットワークのデコンボリューションにより、モデルが塗装ラインを物理的障害物や縁石と誤解しており、特に右折時に急激な左折を引き起こす原因となっていることが明らかになった。
• ハイジャック攻撃は、正しくない経路とは異なる標的経路に車両を誘導するのに成功し、高影響力の敵対的脅威の新クラスを示した。
• 可視化結果により、ネットワークで最も活性化された特徴が、実際の道路標識ではなく塗装された敵対的ラインに対応していることが確認され、モデルがパターンの空間的配置によってだまされていることが示された。