[論文レビュー] Simple Physical Adversarial Examples against End-to-End Autonomous Driving Models

Adith Boloor, Xin He+3 more|arXiv (Cornell University)|Mar 12, 2019

Adversarial Robustness in Machine Learning参考文献 18被引用数 15

ひとこと要約

本稿では、道路に塗られた黒い線といった、単純で物理的に実現可能な敵対的例が、自律走行シミュレーションにおけるエンドツーエンドのディープラーニングモデルを効果的にだますことができることを示している。モデルが塗られた線を物理的障害物と誤解することで、特に右折時において危険なステアリングエラーを引き起こし、デコンボリューション解析により、モデルが敵対的パターンをカーブと同様に活性化させていることが明らかになった。

ABSTRACT

Recent advances in machine learning, especially techniques such as deep neural networks, are promoting a range of high-stakes applications, including autonomous driving, which often relies on deep learning for perception. While deep learning for perception has been shown to be vulnerable to a host of subtle adversarial manipulations of images, end-to-end demonstrations of successful attacks, which manipulate the physical environment and result in physical consequences, are scarce. Moreover, attacks typically involve carefully constructed adversarial examples at the level of pixels. We demonstrate the first end-to-end attacks on autonomous driving in simulation, using simple physically realizable attacks: the painting of black lines on the road. These attacks target deep neural network models for end-to-end autonomous driving control. A systematic investigation shows that such attacks are surprisingly easy to engineer, and we describe scenarios (e.g., right turns) in which they are highly effective, and others that are less vulnerable (e.g., driving straight). Further, we use network deconvolution to demonstrate that the attacks succeed by inducing activation patterns similar to entirely different scenarios used in training.

研究の動機と目的

• エンドツーエンドの自律走行モデルに対する、単純で現実世界で実現可能な操作を用いたエンドツーエンド物理的敵対的攻撃の実現可能性を調査すること。
• 塗られた線のような物理的実現可能で低複雑性の攻撃が、実際の物理的結果（車線違反や衝突など）を引き起こすかどうかを評価すること。
• このような攻撃が、塗られた線を道路の障害物と誤認識するという点で、なぜ成功するかの背後メカニズムを分析すること。
• たとえ耐性のあるエンドツーエンドモデルであっても、わずかで意味的に目立たない物理的摂動に対して脆弱であることを示すこと。
• デコンボリューション可視化を用いて、こうした攻撃を体系的に生成・分析するフレームワークを提供すること。

提案手法

• 著者たちは、模倣学習によって訓練されたエンドツーエンドのディープラーニングベースの自律走行コントローラーをテストするためのシミュレーション環境を用いた。
• 実際の不具合（タイヤマークなど）を模倣して、道路に単一または二重の黒い線を塗ることで物理的敵対的例を生成した。
• 攻撃の成功は、ステアリング角のずれや車線違反、衝突といった物理的結果を観察することで測定した。
• ネットワークのデコンボリューション（DeConvNet）を用いて、ニューラルネットワーク内の高レベル特徴を活性化させる入力ピクセルを可視化した。特に第5畳み込み層に注目した。
• デコンボリューション処理は、バッチ正規化、逆畳み込み、ReLUの逆操作を経て、特徴マップから顕著な入力特徴を再構築する。
• 事例研究では、右折などのベースライン走行行動と敵対的状態を比較し、塗られた線をカーブと誤認識するような誤分類パターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 塗られた黒い線のような単純で物理的に実現可能な敵対的パターンが、エンドツーエンドの自律走行モデルに危険な運転意思決定を引き起こすことは可能か？
• RQ2 どのような走行シナリオがこうした物理的敵対的攻撃に対して最も脆弱であり、その理由は何か？
• RQ3 塗られた線のような敵対的パターンがモデルにどのように誤分類を引き起こし、どのような視覚的特徴を活性化させるのか？
• RQ4 これらの攻撃が、モデルの道路幾何構造の認識における構造的弱みをどの程度利用しているのか？
• RQ5 デコンボリューション技術は、物理的敵対的例によるモデルの失敗の内部的推論を明らかにできるか？

主な発見

• 右折が最も脆弱な走行シナリオであり、二重の塗られた黒い線がモデルに急激に左にステアリングを切らせ、車線違反や衝突を引き起こした。
• モデルは塗られた黒い線を物理的障害物（例：カーブ）と誤認識し、予期しない回避行動をとった。
• デコンボリューション可視化により、ネットワーク内で最も活性化された特徴が、実際に塗られた敵対的線であり、実際の道路マークとは一致しないことが確認された。
• 攻撃は通常条件下でも頑健に動作するモデルに対しても有効であり、認識から制御へのマッピングに根本的な脆弱性があることを示唆した。
• 攻撃の成功は、モデルが特定の視覚的パターン（例：線）を、意味的に無関係な高レベルの意味的コンセプト（例：障害物）と関連づけるように学習していることに起因しており、これは攻撃が意味的無視可能なパターンを効果的に利用していることを示している。
• 本研究では、単純で低コストな物理的操作が、人間の直感を回避し、エンドツーエンドの自律走行システムに壊滅的障害を引き起こす可能性があることを示した。