[論文レビュー] SoK: On the Semantic AI Security in Autonomous Driving

Junjie Shen, Ningfei Wang+11 more|arXiv (Cornell University)|Mar 10, 2022

Ethics and Social Impacts of AI被引用数 15

ひとこと要約

本論文は、自動運転における意味的AIセキュリティに関する、初めての知識の体系化（SoK）を提示する。53篇の最近論文を分析し、重要な研究ギャップを同定し、システムレベルの敵対的攻撃および防御のための統合的・オープンソース・シミュレーションベースの評価プラットフォームであるPASSを提案する。研究では、大多数の攻撃が意味的ギャップのためシステムレベルで失敗することを明らかにした。PASSは、物理的結果とシミュレーション結果の間で平均75%の相関を達成し、再現可能でシナリオに柔軟な評価を可能にする。

ABSTRACT

Autonomous Driving (AD) systems rely on AI components to make safety and correct driving decisions. Unfortunately, today's AI algorithms are known to be generally vulnerable to adversarial attacks. However, for such AI component-level vulnerabilities to be semantically impactful at the system level, it needs to address non-trivial semantic gaps both (1) from the system-level attack input spaces to those at AI component level, and (2) from AI component-level attack impacts to those at the system level. In this paper, we define such research space as semantic AI security as opposed to generic AI security. Over the past 5 years, increasingly more research works are performed to tackle such semantic AI security challenges in AD context, which has started to show an exponential growth trend. In this paper, we perform the first systematization of knowledge of such growing semantic AD AI security research space. In total, we collect and analyze 53 such papers, and systematically taxonomize them based on research aspects critical for the security field. We summarize 6 most substantial scientific gaps observed based on quantitative comparisons both vertically among existing AD AI security works and horizontally with security works from closely-related domains. With these, we are able to provide insights and potential future directions not only at the design level, but also at the research goal, methodology, and community levels. To address the most critical scientific methodology-level gap, we take the initiative to develop an open-source, uniform, and extensible system-driven evaluation platform, named PASS, for the semantic AD AI security research community. We also use our implemented platform prototype to showcase the capabilities and benefits of such a platform using representative semantic AD AI attacks.

研究の動機と目的

• 自動運転（AD）における意味的AIセキュリティに関する包括的な体系化の欠如に起因する、AIコンponentの脆弱性と現実世界のシステムレベルの影響の間のギャップを埋める。
• AD AIセキュリティ分野内（縦方向）および関連分野（横方向）の研究を比較することで、現在の研究における重要な科学的ギャップを同定・分析する。
• 多様な走行シナリオにおいて、システム駆動型でシミュレーションベースの意味的AI攻撃および防御のテストを可能にする、標準化されたオープンソースの評価プラットフォーム（PASS）を構築する。
• 追跡モジュールなどの下流モジュールの頑健性により、現実のシステムレベルの影響を達成できない既存の攻撃の限界を実証する。たとえば、STOPサインの誤分類を狙った攻撃でも、それが実際に停止を引き起こせない事例を示す。
• グローバルCTFイベントでのPASSの教育的導入を通じて、研究の民主的化、再現可能性、現実性の向上を促進する。

提案手法

• 2017年から2022年までに発表された、セキュリティ、AI、ロボティクス分野のトップ会議・ジャーナルから、53篇の最近論文を体系的に収集・分析した。
• 攻撃・防御の目的、攻撃ベクトル、攻撃知識、防御の実装可能性、頑健性、評価手法といった、セキュリティ研究の主要側面に基づき、分類体系（taxonomy）を提案した。
• 設定可能な走行シナリオ、車両動態、システムレベルのメトリクスを備えた、オープンソースで拡張可能な、シミュレーション駆動型のプラットフォームPASSを開発した。
• PASSを用いて、STOPサイン検出に対する代表的な攻撃（例：SS、RP2、SIB）を、さまざまな走行速度と追跡行動の下で評価した。
• 物理世界の検出結果とシミュレーション出力の相関を確認することで、シミュレーションの忠実度を検証した。物理的・シミュレーテッド結果間のピアソン相関係数は平均0.75（p < 0.05）を達成した。
• PASSをグローバルCTFイベントに導入し、利用可能性とフィードバックを評価した。その結果、教育的価値が確認された一方で、ハードウェアの障壁を低減するためのクラウドホスティングアクセスの必要性が浮き彫りになった。

実験結果

リサーチクエスチョン

• RQ1 近年のトップ会議論文に反映された、自動運転における意味的AIセキュリティ分野の主な研究トレンドと設計選択とは何か？
• RQ2 個々のAIコンponent（例：認識）に対する敵対的攻撃が、実際にシステムレベルの障害（例：衝突）にまで及ぼす影響はどの程度か？
• RQ3 システム入力とAI入力の間、およびAIの影響とシステムへの影響の間の意味的ギャップが、AIセキュリティ攻撃の現実世界での有効性にどのように影響するか？
• RQ4 統合的・シミュレーションベースの評価プラットフォームは、AD AIセキュリティ研究における再現性、拡張性、現実性を向上させられるか？
• RQ5 シミュレーション環境の忠実度は、AD AIセキュリティ評価において、現実世界のパフォーマンスとどの程度一致するか？

主な発見

• 10%の攻撃（10mphでのSS）のみが、STOPサインの停止に成功したが、より高い速度（15–30mph）では、元のサインを継続的に追跡するため、一貫した失敗を示した。
• AIからシステムへの意味的ギャップは顕著である：ピクセルレベルの攻撃でさえ、追跡モジュールがオブジェクトの連続性を維持する限り、システム動作に影響を及ぼさない。
• シミュレーションの忠実度は十分に高いと判明した。物理的結果とシミュレーテッド結果の間で、ピアソン相関係数の平均は0.75（p < 0.05）を達成した。
• PASSを用いたグローバルCTFイベントの5チーム全員が、プラットフォームの有用性を報告したが、2チームはハードウェアの障壁を低減するためのクラウドホスティングアクセスの必要性を指摘した。
• 本研究では、評価におけるメソドロジカルな制限や標準化の欠如を含む6つの主要な科学的ギャップを同定した。PASSはこれらのギャップを解消することを目的として設計された。
• 研究では、現在のAD AIセキュリティ研究がシステムレベルの影響を十分に評価していないことが明らかになった。これにより、システム駆動型・シナリオに配慮した評価フレームワークへの移行が強く求められる。