[論文レビュー] Foundation Models in Robotics: Applications, Challenges, and the Future

Roya Firoozi, Johnathan Tucker+13 more|arXiv (Cornell University)|Dec 13, 2023

Topic Modeling被引用数 13

ひとこと要約

本調査は事前学習済みファウンデーションモデル（LLMs、VLMs、マルチモーダルモデル）がロボティクスでどのように活用されているかを概観し、主要な課題を特定し、知覚、意思決定、および制御の今後の研究方向性を概説します。

ABSTRACT

We survey applications of pretrained foundation models in robotics. Traditional deep learning models in robotics are trained on small datasets tailored for specific tasks, which limits their adaptability across diverse applications. In contrast, foundation models pretrained on internet-scale data appear to have superior generalization capabilities, and in some instances display an emergent ability to find zero-shot solutions to problems that are not present in the training data. Foundation models may hold the potential to enhance various components of the robot autonomy stack, from perception to decision-making and control. For example, large language models can generate code or provide common sense reasoning, while vision-language models enable open-vocabulary visual recognition. However, significant open research challenges remain, particularly around the scarcity of robot-relevant training data, safety guarantees and uncertainty quantification, and real-time execution. In this survey, we study recent papers that have used or built foundation models to solve robotics problems. We explore how foundation models contribute to improving robot capabilities in the domains of perception, decision-making, and control. We discuss the challenges hindering the adoption of foundation models in robot autonomy and provide opportunities and potential pathways for future advancements. The GitHub project corresponding to this paper (Preliminary release. We are committed to further enhancing and updating this work to ensure its quality and relevance) can be found here: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models

研究の動機と目的

• インターネット規模のデータで事前学習されたファウンデーションモデルが、ロボットの知覚、意思決定、制御をいかに拡張できるかを評価する。
• データ不足、安全保証、不確実性、リアルタイム実行など、ロボット分野での普及を妨げる核心的課題を特定する。
• ファウンデーションモデルとロボットの自律性を結びつけるアルゴリズム、アーキテクチャ、応用の構造化された概要を提供する。
• ファウンデーションモデル手法とタスク特化型従来モデルを対比し、今後の研究機会を浮き彫りにする。
• ファウンデーションモデルの統合を探索するロボティクス研究者への指針とベンチマークを提供する。

提案手法

• 知覚、計画、制御を横断するロボット工学問題のためにファウンデーションモデルを用いるまたは構築する最近の論文を調査する。
• ポリシー学習、タスク計画、オープンボキャブラリ知覚、体現型AIなどのロボット工学タスクを軸に調査を整理する。
• 基盤モデルのタイプ（LLMs、VLMs、体現型マルチモーダルモデル、拡散）とそれらの訓練方法（自己回帰、 MLM、対比学習、拡散）を論じる。
• データ不足、安全性、不確実性、リアルタイム推論といった未解決の課題を強調し、今後の研究の方向性を提案する。
• 関連する調査を比較・対照し、ロボティクスに焦点を絞った応用、アルゴリズム、アーキテクチャを強調する。

実験結果

リサーチクエスチョン

• RQ1 ファウンデーションモデルがロボティクスの知覚、意思決定、制御に貢献する主な方法は何か？
• RQ2 ロボット自律性におけるファウンデーションモデルの普及を制限する主要な課題は何か（データ、安全性、不確実性、リアルタイム要件）？
• RQ3 ファウンデーションモデルをロボティクスシステムに統合する機会と今後の方向性は何か？
• RQ4 既存のロボティクス論文は、言語、視覚言語、体現型モデルをどのように活用して、ナビゲーション、操作、計画などのタスクを改善しているか？

主な発見

• インターネット規模データで事前学習されたファウンデーションモデルは、多様なロボティクスのタスクに一般化でき、一部のケースでゼロショット機能を示す。
• クロスモーダル表現と文脈認識的推論を提供することで、知覚、意思決定、制御を強化する可能性がある。
• ロボット固有タスクのデータ不足、安全保証、不確実性の定量化、リアルタイム推論要件の達成など、重大な課題が残っている。
• 本調査は既存の研究をロボティクス領域にマッピングし、機会、制限、および今後の研究方向を論じる。
• ファウンデーションモデルをロボティクスのプラグアンドプレイモジュールとして扱う取り組みが進むとともに、ロボット特化型ファウンデーションモデルとベンチマークの開発も進んでいる。