[論文レビュー] Adversarial Driving: Attacking End-to-End Autonomous Driving Systems.

Han Wu, Wenjie Ruan|arXiv (Cornell University)|Mar 16, 2021

Adversarial Robustness in Machine Learning参考文献 9被引用数 6

ひとこと要約

本稿では、入力画像をわずかに摂動させることでステアリング予測を操作する、エンドツーエンド自動運転システムに対するリアルタイムで白箱の標的攻撃を提案する。これらの攻撃はGPUを必要とせずCPU上でも効果的に実行可能であり、安全で重要な回帰ベースのドライブシステムにおける深刻な脆弱性を示している。

ABSTRACT

As the research in deep neural networks advances, deep convolutional networks become feasible for automated driving tasks. There is an emerging trend of employing end-to-end models in the automation of driving tasks. However, previous research unveils that deep neural networks are vulnerable to adversarial attacks in classification tasks. While for regression tasks such as autonomous driving, the effect of these attacks remains rarely explored. In this research, we devise two white-box targeted attacks against end-to-end autonomous driving systems. The driving model takes an image as input and outputs the steering angle. Our attacks can manipulate the behaviour of the autonomous driving system only by perturbing the input image. Both attacks can be initiated in real-time on CPUs without employing GPUs. This demo aims to raise concerns over applications of end-to-end models in safety-critical systems.

研究の動機と目的

• エンドツーエンドのディープラーニングモデルが敵対的攻撃に対してどれほど脆弱であるかを調査すること。
• ステアリング角度予測のような回帰タスクにおける敵対的ロバストネスの理解のギャップを埋めること。
• 最小限の入力摂動によってドライブ行動を操作するリアルタイムで白箱の攻撃を開発すること。
• このような攻撃が特殊なハードウェアを必要とせず、生産システムにおける安全性に懸念を呈する可能性を示すこと。

提案手法

• 攻撃は、ステアリング角度予測モデルの回帰出力を標的とする白箱の標的攻撃として設計されている。
• 予測されたステアリング角度とターゲットのステアリング角度の差を最小化する微分可能損失関数を用いて摂動を最適化している。
• 敵対的例を生成するために、入力画像の画素値を変数とする最適化問題として攻撃を定式化している。
• 効率的な最適化と勾配計算を活用することで、CPU上でリアルタイムに動作する。
• 攻撃は生のカメラ画像に直接適用されており、現実の走行状況を模倣している。
• 勾配情報以外のモデル内部アーキテクチャへのアクセスは必要としない。

実験結果

リサーチクエスチョン

• RQ1 標的の敵対的攻撃は、エンドツーエンド自動運転モデルのステアリング角度予測を成功裏に操作できるか？
• RQ2 GPUアクセラレーションなしでリアルタイムに効果を発揮するか？
• RQ3 小さな、人間が認識できない画像摂動が、回帰ベースのドライブシステムの挙動にどの程度の影響を与えるか？
• RQ4 このような攻撃は、最小限の計算負荷で現実のデプロイ環境でも実現可能か？

主な発見

• 提案された攻撃は、高い成功率でターゲットのステアリング角度を出力する敵対的例を生成できた。
• 攻撃はGPUを必要とせずCPU上でリアルタイムに実行可能であり、専用ハードウェアなしでの実現可能性を示した。
• 摂動は小さく、人間には認識できないが、視覚的リアリズムを保ちつつ顕著な挙動の変化を引き起こした。
• エンドツーエンドドライブモデルが入力レベルの摂動によって標的的に操作可能であることが示された。
• エンドツーエンドディープラーニングに依存する安全で重要なシステムにおける深刻なセキュリティギャップが浮き彫りになった。