[論文レビュー] Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI

Yang Liu, Weixing Chen+5 more|arXiv (Cornell University)|Jul 9, 2024

Robotics and Automated Systems被引用数 11

ひとこと要約

MLM/WM時代における具現化AIの総合調査で、具現化知覚、相互作用、エージェント、シミュレータ、およびシム-to-リアル適応を扱い、ベンチマークと将来の方向性を含む。

ABSTRACT

Embodied Artificial Intelligence (Embodied AI) is crucial for achieving Artificial General Intelligence (AGI) and serves as a foundation for various applications (e.g., intelligent mechatronics systems, smart manufacturing) that bridge cyberspace and the physical world. Recently, the emergence of Multi-modal Large Models (MLMs) and World Models (WMs) have attracted significant attention due to their remarkable perception, interaction, and reasoning capabilities, making them a promising architecture for embodied agents. In this survey, we give a comprehensive exploration of the latest advancements in Embodied AI. Our analysis firstly navigates through the forefront of representative works of embodied robots and simulators, to fully understand the research focuses and their limitations. Then, we analyze four main research targets: 1) embodied perception, 2) embodied interaction, 3) embodied agent, and 4) sim-to-real adaptation, covering state-of-the-art methods, essential paradigms, and comprehensive datasets. Additionally, we explore the complexities of MLMs in virtual and real embodied agents, highlighting their significance in facilitating interactions in digital and physical environments. Finally, we summarize the challenges and limitations of embodied AI and discuss potential future directions. We hope this survey will serve as a foundational reference for the research community. The associated project can be found at https://github.com/HCPLab-SYSU/Embodied_AI_Paper_List.

研究の動機と目的

• サイバースペースから物理世界に至る具現化AIの全体像を調査する。
• 代表的な具現化ロボットとシミュレータを分析し、焦点領域と限界を特定する。
• 具現化知覚、具現化された相互作用、具現化エージェント、シム-to-リアル適応という4つの主要な研究対象を統合する。
• 具現化エージェントを可能にするMLMsとワールドモデルを議論し、データセットとベンチマークを強調する。
• 課題を特定し、具現化AIとAGIの示唆に向けた将来の方向性を概説する。

提案手法

• 具現化ロボット、シミュレータ、および4つの主要タスク（視覚的能動知覚、具現化された相互作用、多モーダル具現化エージェント、シム-toリアルロボット制御）の体系的レビュー。
• シミュレータと実世界ベンチマークに跨る最先端手法、パラダイム、データセットの分類とベンチマーキング。
• 具現化エージェントの脳様コンポーネントとしてのMLMs（マルチモーダル大規模モデル）とワールドモデルの議論。
• 一般目的シミュレータと実世界シーンベースのシミュレータの比較を通じて研究の進展を評価。
• AGI志向の具現化AIに対する課題・制限・潜在的な将来方向性の総合。

実験結果

リサーチクエスチョン

• RQ1 ロボットとシミュレータにおける具現化AIの最新の進展と代表的な研究は何か。
• RQ2 具現化知覚、相互作用、エージェント、およびシム-to-リアル適応は、サイバー物理的一致の目標にどう対応するか。
• RQ3 MLM/WM時代の具現化AI研究を最も効果的に支援するデータセット、ベンチマーク、シミュレータは何か。
• RQ4 具現化AIを通じたAGIへ向けた主要な課題と潜在的な将来方向は何か。

主な発見

• 具現化AIは知覚、言語、ワールドモデルを統合し、仮想環境と物理環境との相互作用を可能にする。
• MLMsとワールドモデルは、認知、推論、タスク分解の能力を具現化エージェントに脳様の機能として形成している。
• 一般目的と実世界シーンベースの幅広いシミュレータが、費用対効果の高い実験とベンチマーキングを支援する。
• 現在の調査はMLM時代の発展に遅れており、本研究は包括的で更新された分類とベンチマーキングの議論を提供する。
• 長期記憶、複雑な意図の理解、効果的なシム-to-real転送などの課題を挙げ、AGI志向の具現化AIに向けた将来の方向性を提案する。