[論文レビュー] Hold Tight and Never Let Go: Security of Deep Learning based Automated Lane Centering under Physical-World Attack

Takami Sato, Junjie Shen+4 more|arXiv (Cornell University)|Sep 14, 2020

Adversarial Robustness in Machine Learning参考文献 64被引用数 14

ひとこと要約

本稿では、汚れのついた道路パッチを用いた物理世界における敵対的攻撃を提案し、深層学習ベースの自動レーンセンターイング（ALC）システムの脆弱性を突く。安全上の懸念を伴う目的関数を最適化し、動的車両制御およびモデル設計の制約を考慮することで、0.95秒未満の時間で92％以上の成功率でレーンキーピング障害を引き起こすことができ、これは人間の反応時間よりも速く、実世界のシミュレーション環境では98％および100％の成功率で衝突を引き起こす。

ABSTRACT

Automated Lane Centering (ALC) systems are convenient and widely deployed today, but also highly security and safety critical. In this work, we are the first to systematically study the security of state-of-the-art deep learning based ALC systems in their designed operational domains under physical-world adversarial attacks. We formulate the problem with a safety-critical attack goal, and a novel and domain-specific attack vector: dirty road patches. To systematically generate the attack, we adopt an optimization-based approach and overcome domain-specific design challenges such as camera frame inter-dependencies due to dynamic vehicle actuation, and the lack of objective function design for lane detection models. We evaluate our attack method on a production ALC system using 80 attack scenarios from real-world driving traces. The results show that our attack is highly effective with over 92% success rates and less than 0.95 sec average success time, which is substantially lower than the average driver reaction time. Such high attack effectiveness is also found (1) robust to motion model inaccuracies, different lane detection model designs, and physical-world factors, and (2) stealthy from the driver's view. To concretely understand the end-to-end safety consequences, we further evaluate on concrete real-world attack scenarios using a production-grade simulator, and find that our attack can successfully cause the victim to hit the highway concrete barrier or a truck in the opposite direction with 98% and 100% success rates. We also discuss defense directions.

研究の動機と目的

• 最先端の深層学習ベースの自動レーンセンターイング（ALC）システムが物理世界における敵対的攻撃に対して示すセキュリティ上の脆弱性を調査すること。
• ALCシステムの運用分野に特化した、新たな攻撃ベクトル「汚れのついた道路パッチ」を特定し、それを攻撃に利用すること。
• 動的車両制御およびレーン検出モデルにおける目的関数の欠如を考慮した最適化に基づく攻撃生成手法を開発すること。
• 運動モデルの不正確さや物理世界要因を含む現実の走行状況下で、攻撃の有効性を評価すること。
• 高精度なシミュレーションを用いて、障害物や対向車両との衝突の可能性を含む、エンドツーエンドの安全上の影響を評価すること。

提案手法

• レーン逸脱を誘発するという目的をもつ、安全を最優先とする最適化問題として攻撃を定式化する。
• 実世界のALCシステム運用に特化した、汚れや汚れの模様を持つ物理的道路パッチという、新しい攻撃ベクトルを設計する。
• 動的車両制御によって引き起こされるカメラフレーム間の依存関係に対処するため、最適化プロセスに時間的モデリングを組み込む。
• レーン検出モデルの目的関数が存在しないという課題を、モデルの挙動と視覚的特徴に基づいて導出された代替目的関数を用いることで克服する。
• 現実の走行状況下でレーン検出の失敗確率を最大化するように、反復的最適化を用いて敵対的パッチを生成する。
• 安全性の結果を評価するために、実際の走行トレースとプロダクショングレードのシミュレータを用いて攻撃を検証する。

実験結果

リサーチクエスチョン

• RQ1 物理世界における敵対的パッチは、実際の走行状況下で深層学習ベースの自動レーンセンターイングシステムを効果的に損なうことができるか？
• RQ2 運動モデルの不正確さや物理世界のノイズを含む現実的条件下で、攻撃の有効性はどの程度か？
• RQ3 ドライバーの視覚的観点から見た場合、攻撃はどの程度見えにくいか？
• RQ4 衝突の可能性（例えば、高速道路のコンクリートフェンスや対向車両との衝突）を含む、エンドツーエンドの安全上の影響は何か？
• RQ5 異なるレーン検出モデルアーキテクチャおよび物理的展開条件において、攻撃の耐性はどの程度か？

主な発見

• 提案された攻撃は、80件の実際の走行シナリオにおいて、92％以上の成功率でレーン逸脱を引き起こした。
• 攻撃に成功するまでの平均時間は0.95秒未満であり、これは平均的な人間ドライバーの反応時間よりも顕著に速い。
• 運動モデルの不正確さ、異なるレーン検出モデルの設計、さまざまな物理的要因の下でも、攻撃は効果的でかつ耐性がある。
• 攻撃は視覚的に隠蔽されており、運用中にはドライバーに顕著な視覚的兆候がなく、認識されにくい。
• シミュレーションでは、攻撃はテストケースの98％で高速道路のコンクリートフェンスとの衝突を引き起こし、100％のケースで対向トラックとの衝突を引き起こした。
• 攻撃は高い転送性と、実世界での展開における実用的妥当性を示した。