[論文レビュー] A Survey on Robotics with Foundation Models: toward Embodied AI

Zhiyuan Xu, Kun Wu+5 more|arXiv (Cornell University)|Feb 4, 2024

Modular Robots and Swarm Intelligence被引用数 4

ひとこと要約

本調査は、大規模言語モデル、視覚モデル、視覚言語モデルなどの基礎モデルを、自律的マニピュレーションにおけるエムベデッドAIのためのロボティクスに統合する方法を検討し、高レベルの計画と低レベルの制御に焦点を当てている。これらのモデルが統一された計画・制御フレームワークを通じて、複雑で長時間にわたるタスクにおいて少サンプルまたはゼロショット一般化を可能にすることを示している。一方で、効率性、安全性、データ拡張に関する主な課題も特定している。

ABSTRACT

While the exploration for embodied AI has spanned multiple decades, it remains a persistent challenge to endow agents with human-level intelligence, including perception, learning, reasoning, decision-making, control, and generalization capabilities, so that they can perform general-purpose tasks in open, unstructured, and dynamic environments. Recent advances in computer vision, natural language processing, and multi-modality learning have shown that the foundation models have superhuman capabilities for specific tasks. They not only provide a solid cornerstone for integrating basic modules into embodied AI systems but also shed light on how to scale up robot learning from a methodological perspective. This survey aims to provide a comprehensive and up-to-date overview of foundation models in robotics, focusing on autonomous manipulation and encompassing high-level planning and low-level control. Moreover, we showcase their commonly used datasets, simulators, and benchmarks. Importantly, we emphasize the critical challenges intrinsic to this field and delineate potential avenues for future research, contributing to advancing the frontier of academic and industrial discourse.

研究の動機と目的

• 自律的マニピュレーションにおけるエムベデッドAIを対象として、ロボティクスにおける基礎モデルについて包括的かつ最新の概要を提供すること。
• ロボットシステムにおける高レベルの計画と低レベルの制御に基礎モデルを適用する最近のアプローチを分類・分析すること。
• 研究の再現性と実用的応用を支援するため、分野で一般的に使われるデータセット、シミュレータ、ベンチマークを調査すること。
• 実世界での実装における計算効率性、安全性、データ不足といった重要な課題を特定すること。
• 汎用的で一般化可能かつ耐障害性のあるエムベデッドAIシステムを発展させるための今後の研究方向性を提示すること。

提案手法

• ロボティクスにおける基礎モデルの応用を、主に2つの分野に分類する：高レベルの計画（例：自然言語命令の解釈とタスク計画の生成）と低レベルの制御（例：正確なモーター命令の生成）。
• 視覚言語モデル（VLM）と大規模言語モデル（LLM）の使用をレビューし、ユーザーの指示を解釈し、環境を認識することで、世界知識に基づく推論を可能にする。
• 構造化された計画フォーマット（例：PDDL）と非構造化されたフォーマット（例：自然言語やコード）の比較を行い、表現力と実行可能性のトレードオフを評価する。
• 計画と制御を統合する大規模なロボット基礎モデルのエンドツーエンド学習を検討し、脳と小脳の協働に類似したタスク実行の向上を図る。
• VLMや拡散モデル（例：Imagen Editor）を用いたデータ拡張技術を調査し、タスクに必要なコンテンツを損なわずに意味的に整合性のある画像編集を生成する。
• LoRA微調整やモデル圧縮などの効率化技術を評価し、計算制約とプライバシー制約に対応するエッジデバイスへの大規模基礎モデルの展開を支援する。

Figure 1 : Taxonomy of foundation models for high-level planning and their properties.

実験結果

リサーチクエスチョン

• RQ1 どのようにして基礎モデルを活用することで、長時間にわたるロボットマニピュレーションタスクにおいてゼロショットまたは少サンプル一般化を実現できるか？
• RQ2 表現力、実行可能性、モデル性能という観点から、構造化された（例：PDDL）と非構造化された（例：自然言語）計画フォーマットの間にはどのようなトレードオフがあるか？
• RQ3 基礎モデルを高レベルの計画と低レベルの制御の両方に統合することで、統一的かつスケーラブルなロボットエージェントを構築するにはどうすればよいか？
• RQ4 意味的意味を保持しながら、ロボット学習におけるポリシーの一般化を向上させるために、最も効果的なデータ拡張戦略は何か？
• RQ5 リソース制約のあるロボットシステムへの基礎モデルの展開における主な課題は何か。また、効率性と安全性のメカニズムによってそれらをどのように軽減できるか？

主な発見

• PaLM-E や RT-1 などの基礎モデルは、タスク固有の微調整なしに多様なタスクに一般化できる強力な少サンプルおよびゼロショット能力を示しており、ロボットマニピュレーションにおいて顕著である。
• VLMに基づくデータ拡張手法（例：ROSIE）は、テキスト指示と拡散モデルを用いて意味的に整合性のある画像編集を生成することで、数百のタスクにおけるポリシーの一般化を向上させた。
• LoRA などのパラメータ効率の良い微調整技術は、大規模基礎モデルをロボットタスクに適応させる際の計算コストを顕著に削減した。
• 進展は見られるものの、現在の基礎モデルは分布外（OOD）状態に対処できず、耐障害性に欠けるため、実世界の安全性における重要なギャップが残っている。
• エッジデバイスへの大規模基礎モデルの展開は、高い推論コストとプライバシー懸念のため依然として困難であり、モデル圧縮と軽量アーキテクチャの導入が不可欠である。
• 安全性は依然として主要な障壁である：Lyapunovに基づく理論的保証は、低次元で理想化された環境に限定されており、画像のような高次元入力には一般化できない。