[論文レビュー] Bridging Language and Action: A Survey of Language-Conditioned Robot Manipulation

Xiangtong Yao, Hongkuan Zhou+13 more|ArXiv.org|Dec 17, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本サーベイは、言語が知覚、計画、制御に統合される方法に応じて分類される、言語条件付きロボット操作に関する包括的な分析を提供している。言語による状態評価から統合型視覚言語行動モデルまでをカバーする。15種類以上のモデルにおけるパフォーマンスの評価と、一般化性および安全性に関する未解決の課題を特定している。

ABSTRACT

Language-conditioned robot manipulation is an emerging field aimed at enabling seamless communication and cooperation between humans and robotic agents by teaching robots to comprehend and execute instructions conveyed in natural language. This interdisciplinary area integrates scene understanding, language processing, and policy learning to bridge the gap between human instructions and robot actions. In this comprehensive survey, we systematically explore recent advancements in language-conditioned robot manipulation. We categorize existing methods based on the primary ways language is integrated into the robot system, namely language for state evaluation, language as a policy condition, language for cognitive planning and reasoning, and language in unified vision-language-action models. Specifically, we further analyze state-of-the-art techniques from five axes of action granularity, data and supervision regimes, system cost and latency, environments and evaluations, and cross-modal task specification. Additionally, we highlight the key debates in the field. Finally, we discuss open challenges and future research directions, focusing on potentially enhancing generalization capabilities and addressing safety issues in language-conditioned robot manipulators.

研究の動機と目的

• 言語が知覚、計画、制御に統合される4つの統合パラダイム（状態評価のための言語、ポリシーの条件付け、認知的計画、統合型視覚言語行動モデル）に沿って、近年の言語条件付きロボット操作の進展を体系的に分類・分析すること。
• 行動の細分化、データおよび監視レジーム、システムコストと遅延、環境および評価プロトコル、タスク仕様の5軸に沿って、最先端のモデルを評価すること。
• 大規模言語モデルの役割やエンドツーエンド学習とモジュラーなアーキテクチャのトレードオフといった、分野における主な論点を特定すること。
• 言語条件付き操作装置の一般化性、安全性、実世界への展開に関する未解決の課題を強調すること。
• 観察モality、行動生成、事前学習データなどの設計次元を含む、15種類以上の視覚言語行動（VLA）モデルの構造的概要を提供すること。

提案手法

• 既存の手法を4つの主要な統合モードに分類：状態評価のための言語、ポリシーの条件付けとしての言語、認知的推論のための言語、統合型視覚言語行動（VLA）モデル。
• 5つの次元にわたる多軸評価フレームワークを提案：行動の細分化（例：離散的 vs. 連続的）、データおよび監視レジーム（例：模倣学習、強化学習、自己教師学習）、システムコストと遅延、環境（シミュレーション vs. 実世界）、タスク仕様（例：ゼロショット、少数ショット）。
• 標準化された表（表10）を用いて15種類以上の最先端のVLAモデルを分析し、主な設計選択を捉える：観察モダリティ（RGB、深度、自己認識、テキスト）、行動生成手法（拡散、フローマッチング、自己回帰的、直接予測）、内部ポリシー機構（思考の連鎖、記憶、将来予測）、事前学習データ（複数のデータセット、クロスエンデュアランス）。
• ベンチマークおよび実世界への展開におけるモデルのパフォーマンスを評価し、マルチシナリオテスト（MS）、実世界展開（RW）、クロスエンドアランス実行（CE）を区別する。
• 基礎的モデル（例：LLM、VLM）および神経的記号的アーキテクチャを統合し、推論能力およびゼロショット一般化を可能にする役割を評価する。
• 拡散ベースの行動生成、軌道最適化のためのフローマッチング、長時間スパンタスクのためのメモリ拡張ポリシーといったアーキテクチャ的イノベーションを議論する。

実験結果

リサーチクエスチョン

• RQ1 異なる手法は、ロボットの知覚、計画、制御に言語をどのように統合しているのか。各アプローチの長所と短所は何か。
• RQ2 観察モダリティ、行動生成手法、事前学習戦略の観点から、視覚言語行動モデルにおける主な設計上のトレードオフは何か。
• RQ3 現在のモデルは、タスク、環境、ロボットの実装にわたってどのように一般化しているのか。ゼロショットまたは少数ショット転送性能に影響を与える要因は何か。
• RQ4 言語条件付き操作装置の学習に用いられる主なデータおよび監視レジームは何か。それらはモデルの頑健性と効率性にどのように影響するか。
• RQ5 言語条件付きロボットシステムにおける安全性、実世界への展開、長時間スパンタスク実行に関する主な未解決の課題は何か。

主な発見

• 特に拡散またはフローマッチングを用いた行動生成を行う統合型視覚言語行動（VLA）モデルは、多様なタスクと環境において優れたゼロショット一般化性能を示している。
• クロスエンドアランスデータで事前学習されたモデルは、単一ロボットデータで学習されたモデルよりも顕著に高い転送性を示し、未確認のロボットプラットフォームへの適応性が向上している。
• VLAポリシーに思考の連鎖（CoT）および将来予測（FP）機構を統合することで、長時間スパンタスクの分解能力が向上し、推論能力が強化されている。
• 実世界への展開は依然として主要なボトル neck である：多くのモデルはシミュレーションで高い成功率（例：LoHoVLA や DexVLA では85％以上）を達成しているが、実世界では平均して15–30％の性能低下が生じている（シミュレーションから実世界へのギャップ）。
• 行動生成に自己回帰的または直接予測を用いるモデルは、拡散ベースのモデルよりも低い推論遅延を示しており、リアルタイム制御に適している。
• ForceVLA や Tactile-VLA などのモデルでタクトイルセンシングや力センシングを活用することで、接触が豊富なタスクにおける操作の頑健性が向上し、視界が悪いまたは構造のない環境でも効果的である。