[论文解读] A Survey on Robotics with Foundation Models: toward Embodied AI

Zhiyuan Xu, Kun Wu+5 more|arXiv (Cornell University)|Feb 4, 2024

Modular Robots and Swarm Intelligence被引用 4

一句话总结

本综述探讨了将基础模型（如大语言模型、视觉模型及视觉-语言模型）整合到机器人系统中以实现具身人工智能，重点关注自主操作中的高层规划与底层控制。研究表明，这些模型通过统一的规划-控制框架，可在复杂、长时程任务中实现少样本或零样本泛化，同时指出了在效率、安全性和数据增强方面面临的关键挑战。

ABSTRACT

While the exploration for embodied AI has spanned multiple decades, it remains a persistent challenge to endow agents with human-level intelligence, including perception, learning, reasoning, decision-making, control, and generalization capabilities, so that they can perform general-purpose tasks in open, unstructured, and dynamic environments. Recent advances in computer vision, natural language processing, and multi-modality learning have shown that the foundation models have superhuman capabilities for specific tasks. They not only provide a solid cornerstone for integrating basic modules into embodied AI systems but also shed light on how to scale up robot learning from a methodological perspective. This survey aims to provide a comprehensive and up-to-date overview of foundation models in robotics, focusing on autonomous manipulation and encompassing high-level planning and low-level control. Moreover, we showcase their commonly used datasets, simulators, and benchmarks. Importantly, we emphasize the critical challenges intrinsic to this field and delineate potential avenues for future research, contributing to advancing the frontier of academic and industrial discourse.

研究动机与目标

• 提供机器人领域基础模型的全面、最新概述，尤其聚焦于自主操作中的具身人工智能。
• 对近期将基础模型应用于机器人系统高层规划与底层控制的方法进行分类与分析。
• 调研该领域中常用的数据集、仿真环境与基准测试，以支持可复现的研究与实际应用。
• 识别在真实世界部署中面临的关键挑战，如计算效率、安全性与数据稀缺性。
• 概述未来研究方向，以推动通用、可泛化且鲁棒的具身人工智能系统的发展。

提出的方法

• 将机器人领域中的基础模型应用分为两大主要方向：高层规划（例如，理解自然语言指令并生成任务计划）与底层控制（例如，生成精确的运动指令）。
• 回顾视觉-语言模型（VLMs）与大语言模型（LLMs）在理解用户指令与环境感知中的应用，实现对世界知识的推理。
• 分析结构化规划格式（如PDDL）与非结构化格式（如自然语言或代码）之间的权衡，评估其在表达能力与可执行性方面的差异。
• 研究端到端训练的大规模机器人基础模型，统一规划与控制，模拟大脑与小脑的协同作用，以提升任务执行性能。
• 探究利用VLMs与扩散模型（如Imagen Editor）进行数据增强的技术，实现语义上一致的图像编辑，同时不破坏与任务相关的内容。
• 评估LoRA微调与模型压缩等效率技术，以应对计算与隐私限制，实现将大型基础模型部署于边缘设备。

Figure 1 : Taxonomy of foundation models for high-level planning and their properties.

实验结果

研究问题

• RQ1 如何有效利用基础模型，以在长时程机器人操作任务中实现零样本或少样本泛化？
• RQ2 在表达能力、执行可行性与模型性能方面，结构化格式（如PDDL）与非结构化格式（如自然语言）的规划格式之间存在哪些权衡？
• RQ3 如何将基础模型整合到高层规划与底层控制中，以构建统一、可扩展的机器人智能体？
• RQ4 哪些最有效的数据增强策略能够在保持语义一致性的同时，提升机器人学习中的策略泛化能力？
• RQ5 在资源受限的机器人系统中部署基础模型面临哪些关键挑战？如何通过效率与安全机制加以缓解？

主要发现

• 如PaLM-E与RT-1等基础模型在机器人操作中展现出强大的少样本与零样本能力，可在无需任务特定微调的情况下泛化至多样化任务。
• 基于VLM的数据增强方法（如ROSIE）通过结合文本指令与扩散模型，生成语义一致的图像编辑，在数百项任务上显著提升了策略泛化能力。
• LoRA等参数高效微调技术显著降低了将大型基础模型适配至机器人任务的计算成本。
• 尽管已有进展，当前基础模型在分布外（OOD）状态下的表现仍不理想，且缺乏稳健的错误恢复策略，凸显了真实世界安全性中的关键缺口。
• 由于高推理成本与隐私顾虑，将大型基础模型部署于边缘设备仍具挑战，亟需模型压缩与轻量化架构。
• 安全性仍是主要障碍：现有理论保障（如基于李雅普诺夫的方法）仅适用于低维、理想化环境，无法推广至图像等高维输入。