[論文レビュー] Dirty Road Can Attack: Security of Deep Learning based Automated Lane Centering under Physical-World Attack

Takami Sato, Junjie Shen+4 more|arXiv (Cornell University)|Sep 14, 2020

Adversarial Robustness in Machine Learning参考文献 77被引用数 24

ひとこと要約

本論文は、現実の道路パッチを摂動として用いることで、深層学習ベースの自動車線間中心化（ALC）システムを標的とした、画期的な物理世界における敵対的攻撃であるDRP（Dirty Road Patch）を提案する。車両の運動モデルと透視変換、微分可能かつ線形の湾曲目的関数を組み合わせることで、0.9秒未満で97.5%以上の成功率を達成し、人的反応時間よりも速く、シミュレーションにおいて安全機能を有効にした状態でも100%の衝突率を引き起こす。

ABSTRACT

Automated Lane Centering (ALC) systems are convenient and widely deployed today, but also highly security and safety critical. In this work, we are the first to systematically study the security of state-of-the-art deep learning based ALC systems in their designed operational domains under physical-world adversarial attacks. We formulate the problem with a safety-critical attack goal, and a novel and domain-specific attack vector: dirty road patches. To systematically generate the attack, we adopt an optimization-based approach and overcome domain-specific design challenges such as camera frame inter-dependencies due to attack-influenced vehicle control, and the lack of objective function design for lane detection models. We evaluate our attack on a production ALC using 80 scenarios from real-world driving traces. The results show that our attack is highly effective with over 97.5% success rates and less than 0.903 sec average success time, which is substantially lower than the average driver reaction time. This attack is also found (1) robust to various real-world factors such as lighting conditions and view angles, (2) general to different model designs, and (3) stealthy from the driver's view. To understand the safety impacts, we conduct experiments using software-in-the-loop simulation and attack trace injection in a real vehicle. The results show that our attack can cause a 100% collision rate in different scenarios, including when tested with common safety features such as automatic emergency braking. We also evaluate and discuss defenses.

研究の動機と目的

• 設計された運用領域（すなわち、レーンマーク付きの道路）における、最先端の深層学習ベースの自動車線間中心化（ALC）システムに対する物理世界における敵対的攻撃のセキュリティを体系的かつ包括的に調査すること。
• 2つの主要な課題に取り組むこと：(1) 攻撃に起因する車両制御がカメラフレーム間の依存関係に与える影響、および (2) レーン検出モデル用の微分可能でない目的関数の欠如。
• 巧妙で現実的かつ物理的に実現可能なドメイン固有の攻撃ベクトル「汚れた道路パッチ」を設計すること。
• 多様な現実世界の条件やモデルアーキテクチャを想定した、攻撃の有効性、耐性、一般化性能を評価すること。
• ソフトウェアインザループシミュレーションと実車両へのインジェクションを用いて、攻撃の安全性への影響を評価するとともに、既存の防御策の有効性を検証すること。

提案手法

• DRP（汚れた道路パッチ）を画期的な攻撃ベクトルとして提案：自然な道路の汚れや染みを模倣した悪意ある道路パッチで、巧妙性を確保する。
• 車両の運動モデルと透視変換を統合した最適化ベースの攻撃生成手法を開発し、攻撃に起因する車両制御下でのフレーム更新を動的にシミュレートする。
• ステアリング角最適化の代理目的関数として、微分可能なレーン湾曲目的関数を導入し、横方向制御モジュールの非微分可能性という課題を克服する。
• 照明条件、視点角度、物理的実現可能性に対する耐性を高めるドメイン固有の設計を採用し、実用的実装可能性を確保する。
• 実際の走行トレース（comma2k19の80件のシナリオ）を用いて、生産用のALCシステムであるOpenPilotを対象に攻撃を評価する。
• 5つの防御手法（JPEG圧縮、ビット深度の低下、ガウスノイズ、メディアンブラー、および実際の走行データで学習された4つのアーキテクチャを用いたオートエンコーダー再構成）を用いて防御を評価する。

実験結果

リサーチクエスチョン

• RQ1 物理世界における敵対的攻撃は、設計された運用領域（すなわち、レーンマーク付きの道路）で、現実的な条件下において、深層学習ベースのALCシステムを効果的に侵害できるか？
• RQ2 DRP攻撃は、平均的な人間ドライバーの反応時間よりも速く、レーンから逸脱を引き起こすという目的をどの程度達成できるか？
• RQ3 照明の変化、視点角度、カメラの動きといった現実世界の変動要因に対して、DRP攻撃はどの程度耐性を示すか？
• RQ4 異なるALCモデルアーキテクチャや現実世界の走行シナリオにおいて、DRP攻撃はどの程度一般化可能か？
• RQ5 既存のDNNレベルの防御手法はDRP攻撃を効果的に緩和できるか？特にどの防御手法が最も効果的か？

主な発見

• DRP攻撃は、80件の現実世界走行シナリオすべてで97.5%の成功率を達成し、平均成功時間は0.897秒で、平均的な人間ドライバーの反応時間よりも顕著に速い。
• ソフトウェアインザループシミュレーションにおいて、多様なシナリオ（自動緊急ブレーキが有効な状態を含む）で100%の衝突率を記録した。
• 照明条件の変化、視点角度、カメラの動きの変動に対しても耐性を示し、現実世界の物理的制約下でも高い有効性を維持した。
• 異なるALCモデルアーキテクチャにわたって一般化可能であり、攻撃者がターゲットモデルの詳細をほとんど知らない状況でも効果を発揮した。
• JPEG圧縮（品質 ≤ 20）やメディアンブラー（カーネルサイズ ≥ 15×15）は部分的に効果的であったが、Arch-2アーキテクチャを用いたオートエンコーダー再構成が最も強力な防御を示し、攻撃成功率を最大60%まで低下させた。
• ドライバーの視点からはDRP攻撃は巧妙であり、悪意あるパッチが自然な道路の欠損を模倣しているため、検出が困難である。