[論文レビュー] What Breaks Embodied AI Security:LLM Vulnerabilities, CPS Flaws,or Something Else?

Boyang Ma, Hechuan Guo+6 more|arXiv (Cornell University)|Feb 19, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

論文は、具現化されたAIのセキュリティ失敗をLLMの脆弱性やCPSの欠陥だけで説明できないと主張する。代わりに、知覚–意思決定–行動ループ全体にまたがるシステムレベルの具現化誘発ミスマッチが失敗を引き起こし、全体最適なセキュリティアプローチを必要とする。

ABSTRACT

Embodied AI systems (e.g., autonomous vehicles, service robots, and LLM-driven interactive agents) are rapidly transitioning from controlled environments to safety critical real-world deployments. Unlike disembodied AI, failures in embodied intelligence lead to irreversible physical consequences, raising fundamental questions about security, safety, and reliability. While existing research predominantly analyzes embodied AI through the lenses of Large Language Model (LLM) vulnerabilities or classical Cyber-Physical System (CPS) failures, this survey argues that these perspectives are individually insufficient to explain many observed breakdowns in modern embodied systems. We posit that a significant class of failures arises from embodiment-induced system-level mismatches, rather than from isolated model flaws or traditional CPS attacks. Specifically, we identify four core insights that explain why embodied AI is fundamentally harder to secure: (i) semantic correctness does not imply physical safety, as language-level reasoning abstracts away geometry, dynamics, and contact constraints; (ii) identical actions can lead to drastically different outcomes across physical states due to nonlinear dynamics and state uncertainty; (iii) small errors propagate and amplify across tightly coupled perception-decision-action loops; and (iv) safety is not compositional across time or system layers, enabling locally safe decisions to accumulate into globally unsafe behavior. These insights suggest that securing embodied AI requires moving beyond component-level defenses toward system-level reasoning about physical risk, uncertainty, and failure propagation.

研究の動機と目的

• LLMベースの具現化エージェントの脆弱性を体系的に分類する（意味的完全性、跨モダリティのグラウンディング、環境駆動の操作）。
• 学習機能を有する具現化システムにおけるセンサ、制御、アクチュエータ、タイミング攻撃がどのように現れるか、従来のCPS脅威モデルを再検討する。
• LLMまたはCPSの視点を超える具現化誘発の失敗の根本原因を特定するための洞察を統合する。
• 具現化AIの principled なシステムレベルセキュリティへ向けた未解決の課題と研究方向を概説する。

提案手法

• LLMの脆弱性、CPSの欠陥、具現化特有の課題を含む三次元のセキュリティ分析を定義する。
• 攻撃をシステムレベルの信頼前提と失敗モードにマッピングする分類法を開発する。
• 具現化が安全性とセキュリティを部品レベルの防御を超えて複雑にする4つの核心的洞察を分析する。
• 物理的リスク、不確実性、故障の伝播に焦点を当てたシステムレベルのセキュリティパラダイムを提案するために、領域横断の知見を統合する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースの具現化エージェントにおける主要な脆弱性クラスは何であり、それらは従来のLLMリスクとどのように異なるのか。
• RQ2 学習機能を持つ具現化システムでCPS風の攻撃はどのように現れ、どのギャップが残っているのか。
• RQ3 LLMやCPSの欠陥だけでは還元できない具現化特有のメカニズムによる失敗は何か。
• RQ4 物理的リスクと故障伝播のシステムレベルの推論へとセキュリティ防御を移行するにはどうすればよいのか。

主な発見

• 意味的な正確さが必ずしも物理的安全を保証するわけではない。幾何学、力学、接触の制約は言語推論によって抽象化されてしまう。
• 同一の行動でも物理状態が異なると結果が異なる。非線形ダイナミクスと不確実性の影響。
• 知覚–意思決定–行動ループが密に結合しているため、エラーは伝播・拡大し、時間とともに小さなミスが大きな問題へと拡張する。
• 具現化AIの安全性は時刻やシステム層間で構成的に成り立たず、局所的に安全な意思決定が全体として安全でない挙動へ蓄積される。
• 具現化AIのセキュリティには伝統的なLLMやCPSの防御を超えた物理的リスク、不確実性、故障伝播を考慮したシステムレベルの推論が必要である。