[論文レビュー] Large Language Models for Robotics: A Survey

Fanlong Zeng, Wensheng Gan+6 more|arXiv (Cornell University)|Nov 13, 2023

Multimodal Machine Learning Applications被引用数 35

ひとこと要約

本調査は、制御、知覚、意思決定、経路計画におけるロボティクスへの大規模言語モデル（LLMs）の適用について概要をまとめ、モデル、手法、利点、課題、 embodied intelligenceへ向けた未来の方向性を詳述する。

ABSTRACT

The human ability to learn, generalize, and control complex manipulation tasks through multi-modality feedback suggests a unique capability, which we refer to as dexterity intelligence. Understanding and assessing this intelligence is a complex task. Amidst the swift progress and extensive proliferation of large language models (LLMs), their applications in the field of robotics have garnered increasing attention. LLMs possess the ability to process and generate natural language, facilitating efficient interaction and collaboration with robots. Researchers and engineers in the field of robotics have recognized the immense potential of LLMs in enhancing robot intelligence, human-robot interaction, and autonomy. Therefore, this comprehensive review aims to summarize the applications of LLMs in robotics, delving into their impact and contributions to key areas such as robot control, perception, decision-making, and planning. This survey first provides an overview of the background and development of LLMs for robotics, followed by a discussion of their benefits and recent advancements in LLM-based robotic models. It then explores various techniques, employed in perception, decision-making, control, and interaction, as well as cross-module coordination in practical tasks. Finally, we review current applications of LLMs in robotics and outline potential challenges they may face in the near future. Embodied intelligence represents the future of intelligent systems, and LLM-based robotics is one of the most promising yet challenging paths toward achieving it.

研究の動機と目的

• ロボティクス向けLLMsの背景と発展と、具現化された知能の概念をレビューする。
• LLMベースのロボットモデルと応用の利点と最近の進展を分析する。
• LLM対応ロボティクスにおける知覚、意思決定、制御、相互作用で用いられる技術を要約する。
• LLMsとロボットシステムの統合における課題、制限、今後の方向性について論じる。
• 代表的なLLM対応ロボットアーキテクチャとプラットフォームを強調する。

提案手法

• ロボティクスに関連する基本的なLLMの概念と歴史を説明する。
• LLMを統合するロボットモデルを調査する（例：PaLM-SayCan、PaLM-E、LM-Nav、Expedition A1）。
• トランスフォーマーベースのロボティクスアーキテクチャ（RT-1、RT-2、RT-X、Control Transformer）とそれらの役割を説明する。
• LLMsを活用する知覚、意思決定、制御、相互作用技術を概説する（VLM、VNM、VLN、VLA）。
• LLM対応ロボティクスにおける多模態入力、計画、安全性などの実用的な考慮事項を論じる。
• ロボットの具現化された知能における潜在的な応用と今後の方向性を要約する。

実験結果

リサーチクエスチョン

• RQ1 LLMsはロボットの認知コア（脳）として、指示を理解し現実世界で行動するためにどのように機能できるのか。
• RQ2 知覚、意思決定、制御、相互作用にわたるロボット工学でLLMsを使用する主な利点と限界は何か。
• RQ3 LLMsを用いた効果的なロボティクスを可能にするトランスフォーマーベースのアーキテクチャは何であり、それらはタスク間でどのように一般化するのか。
• RQ4 展開するLLMベースのロボット工学における課題（計算資源、安全性、整合性、標準化）は何であり、それにどう対処できるのか。
• RQ5 LLM対応ロボットを通じた具現化された知能の社会的影響は何か。

主な発見

• LLMsはロボティクスにおける自然言語対話、柔軟なタスク実行、個別化されたユーザー体験を可能にする。
• PaLM-E、PaLM-SayCan、LM-Nav、Expedition A1は、言語と知覚、ナビゲーション、制御を結びつける例を示す。
• トランスフォーマーベースのロボティクスアーキテクチャ（RT-1、RT-2、RT-X、CT）は、計画、制御、ビジョン-言語統合を前進させる。
• VLM/VNM/VLAのような新概念は、ロボットのエンドツーエンドの知覚と行動パイプラインを可能にする。
• 課題には大量の計算資源、コンテンツの安全性、多回話対話、標準的なロボット形態の欠如が含まれる。
• 本調査は具現化された知能へ向けた道筋を提示し、ますます高度化するロボットシステムの社会的影響について論じる。