[論文レビュー] Security of Deep Learning based Lane Keeping System under Physical-World Adversarial Attack

Takami Sato, Junjie Shen+4 more|arXiv (Cornell University)|Mar 3, 2020

Adversarial Robustness in Machine Learning参考文献 8被引用数 13

ひとこと要約

本論文は、深層学習に基づくレーンキーピング支援システム（LKAS）に対する、初めての体系的で物理的現実世界における悪意ある攻撃を提示する。本攻撃では、実際の道路に配置された、目立たないグレースケールの「汚れた道路パッチ」を用いて、レーン検出を操作する。勾配集約と車両の運動モデルを用いた複数フレームにわたる最適化問題として定式化することで、OpenPilotが1.3秒以内にレーンから逸脱するのを実現した。これは平均的な人間の反応時間より短く、自律走行システムにおける深刻な安全リスクを示している。

ABSTRACT

Lane-Keeping Assistance System (LKAS) is convenient and widely available today, but also extremely security and safety critical. In this work, we design and implement the first systematic approach to attack real-world DNN-based LKASes. We identify dirty road patches as a novel and domain-specific threat model for practicality and stealthiness. We formulate the attack as an optimization problem, and address the challenge from the inter-dependencies among attacks on consecutive camera frames. We evaluate our approach on a state-of-the-art LKAS and our preliminary results show that our attack can successfully cause it to drive off lane boundaries within as short as 1.3 seconds.

研究の動機と目的

• 物理的現実世界における悪意ある攻撃に対して、DNNベースのレーンキーピング支援システム（LKAS）のセキュリティ的脆弱性を調査すること。
• 通常の人間の認識に影響を与えないように物理的に配置可能な、実用的で目立たない攻撃ベクトル「汚れた道路パッチ」を同定すること。
• 連続する映像フレーム間で強い依存関係を持つLKASにおける攻撃を、継続的な逸脱を実現するために効果的に伝搬する課題に対処すること。
• 複数フレームにわたり効果的であり、物理的実現可能性と目立たなさを保つことができる体系的最適化フレームワークを構築すること。

提案手法

• グレースケールに制限され、元のレーンラインと重ならないという制約のもと、ドメイン特化型で物理的実現可能かつ目立たない脅威モデルとして「汚れた道路パッチ」を導入する。
• LKASの希望走行経路における横方向の逸脱を最大化する目的関数を用いて、複数フレームにわたる最適化問題として攻撃を定式化する。
• 車両の運動モデルを用いて車両の軌道をシミュレートし、フレーム間での状態変化を伝搬させることで、時間経過に伴う一貫性のある攻撃生成を可能にする。
• ビューアーの視点（BEV）変換を用いて、異なるパッチサイズや位置からの勾配を整列させる勾配集約を適用し、効果的な最適化を実現する。
• L2正則化と色彩空間の制約を用いて、生成されたパッチが目立たない道路の破片のように見えるようにし、目立たなさを確保する。
• DNNベースのレーン検出器および横方向制御部を逆伝播させ、BEV空間で投影勾配降下法を用いてパッチを更新することで、悪意ある入力を生成する。

実験結果

リサーチクエスチョン

• RQ1 物理的現実世界における悪意あるパッチを設計することで、人間の認識に影響を与えることなく、DNNベースのLKASを目に見えない形で操作可能か？
• RQ2 車両の運動によって生じる強いフレーム間依存性を考慮した場合、連続する映像フレームにわたり攻撃を効果的に伝搬させる方法は何か？
• RQ3 現実の走行ダイナミクス下で、持続的な横方向の逸脱を誘発する最適な目的関数は何か？
• RQ4 このような攻撃が、人間の反応時間よりも速く、現実のLKASをレーン境界から逸脱させる可能性はどの程度か？
• RQ5 本手法は、多様な走行シナリオ、速度、車両モデルにおいて、どの程度有効に機能するか？

主な発見

• 実世界のシナリオ（comma2k19-1）において、攻撃はOpenPilot LKASを0.9秒以内に0.745メートル以上レーンから逸脱させることに成功した。
• シミュレートされた高速道路シナリオ（LGSVL-1）では、1.3秒でレーン逸脱を達成し、制御された条件下での有効性を示した。
• 攻撃は3つの異なるシナリオで有効であった：2つの実世界の高速道路走行（126 km/h および 105 km/h）と1つのシミュレーションシナリオ（72 km/h）、速度や環境の違いに対しても耐性があることを確認した。
• 悪意ある道路パッチは物理的に実現可能であり、汚れや破片と見分けがつかない外観を保ち、グレースケールの色のみを用い、レーンラインを被覆しないために目立たなさを維持した。
• 攻撃は人間の反応時間（2.3秒）を上回り、自動化されたシステムがドライバーが対処できる時間より速く操作可能であるという深刻な安全リスクを示した。
• ドライバー視点からのデモ動画は、攻撃が1秒未満で顕著かつ持続的な横方向の逸脱を引き起こしていることを確認しており、攻撃の現実世界への影響を検証した。