[論文レビュー] Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis

Yafei Hu, Quanting Xie+21 more|arXiv (Cornell University)|Dec 14, 2023

Topic Modeling被引用数 25

ひとこと要約

NLPとCVのファウンデーションモデルをロボティクスに適用する方法、およびロボティクス特有のファウンデーションモデルがどのようになり得るかの包括的な調査と、実験結果のメタ分析。

ABSTRACT

Building general-purpose robots that operate seamlessly in any environment, with any object, and utilizing various skills to complete diverse tasks has been a long-standing goal in Artificial Intelligence. However, as a community, we have been constraining most robotic systems by designing them for specific tasks, training them on specific datasets, and deploying them within specific environments. These systems require extensively-labeled data and task-specific models. When deployed in real-world scenarios, such systems face several generalization issues and struggle to remain robust to distribution shifts. Motivated by the impressive open-set performance and content generation capabilities of web-scale, large-capacity pre-trained models (i.e., foundation models) in research fields such as Natural Language Processing (NLP) and Computer Vision (CV), we devote this survey to exploring (i) how these existing foundation models from NLP and CV can be applied to the field of general-purpose robotics, and also exploring (ii) what a robotics-specific foundation model would look like. We begin by providing a generalized formulation of how foundation models are used in robotics, and the fundamental barriers to making generalist robots universally applicable. Next, we establish a taxonomy to discuss current work exploring ways to leverage existing foundation models for robotics and develop ones catered to robotics. Finally, we discuss key challenges and promising future directions in using foundation models for enabling general-purpose robotic systems. We encourage readers to view our living GitHub repository 2 of resources, including papers reviewed in this survey, as well as related projects and repositories for developing foundation models for robotics.

研究の動機と目的

• 普遍的で汎用的なロボットへの障壁を説明し、ファウンデーションモデルが潜在的な改善をもたらす理由。
• 既存の研究をカテゴリ化する：視覚・言語ファウンデーションモデルをロボティクスに適用するものと、ロボティクス特有のファウンデーションモデル。
• ロボティクスのファウンデーションモデル研究で用いられる方法論、実験、データセットを評価する。
• ファウンデーションモデルを用いた汎用ロボットの課題・限界・有望な将来の方向性を論じる。

提案手法

• ロボティクスにおけるファウンデーションモデルを視覚ベース、言語ベース、ロボティクス特有のモデルの分類として整理する。
• 現実世界のロボティクス、高忠実度シミュレータ、またはロボティクスデータセットに関する調査 papers からの実験結果のメタ分析。
• 普遍化、データ不足、 grounding などのロボティクス課題をファウンデーションモデルがどのように緩和するかの議論。
• 現実世界とシミュレートされたロボティクスの文脈で使用されるデータセットとベンチマークのレビュー。
• 今後の研究方向の提案と、継続的な更新のためのリソースリンク。

実験結果

リサーチクエスチョン

• RQ1 NLPとCVのファウンデーションモデルをどう活用して、一般化やデータ不足といったロボティクスの核心的課題を解決できるか。
• RQ2 ロボティクス特有のファウンデーションモデルはどのようなものか、どう訓練・展開できるか。
• RQ3 現在ロボティクスのファウンデーションモデルを評価するために用いられている方法論とデータセット、そしてそれらの限界。
• RQ4 ファウンデーションモデルを介して汎用ロボットを実現するうえで最も有望な将来の方向性は何か。

主な発見

• ファウンデーションモデルは開放集合知覚、ドメイン横断的な一般化、そして知覚・計画・制御の統合の可能性を提供する。
• ロボティクスのデータ不足と高いラベリングコストは、大規模な事前学習モデルとドメインランダム化を用いたシミュレータデータの活用を促す。
• 既存のVFMs/LLMsをロボティクスに適用することと、ロボティクス特有のファウンデーションモデルを構築することの開発的分離がある。
• 現在の研究は主に意味的知覚と計画に焦点を当てており、世界ダイナミクスや象徴的推論など他の要素は十分に探求されていない。
• 現実世界データセットと高 fidelity シミュレータは、ロボティクスファウンデーションモデルを評価するうえで不可欠であり、多様な形態やタスクの継続的な需要がある。