[论文解读] Bridging Language and Action: A Survey of Language-Conditioned Robot Manipulation

Xiangtong Yao, Hongkuan Zhou+13 more|ArXiv.org|Dec 17, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本综述对语言引导的机器人操作进行了全面分析，按语言在感知、规划和控制中的整合方式对方法进行分类——从用于状态评估的语言到统一的视觉-语言-动作模型。它识别出关键趋势，评估了15种以上模型的性能，并指出了泛化能力和安全性方面的开放性挑战。

ABSTRACT

Language-conditioned robot manipulation is an emerging field aimed at enabling seamless communication and cooperation between humans and robotic agents by teaching robots to comprehend and execute instructions conveyed in natural language. This interdisciplinary area integrates scene understanding, language processing, and policy learning to bridge the gap between human instructions and robot actions. In this comprehensive survey, we systematically explore recent advancements in language-conditioned robot manipulation. We categorize existing methods based on the primary ways language is integrated into the robot system, namely language for state evaluation, language as a policy condition, language for cognitive planning and reasoning, and language in unified vision-language-action models. Specifically, we further analyze state-of-the-art techniques from five axes of action granularity, data and supervision regimes, system cost and latency, environments and evaluations, and cross-modal task specification. Additionally, we highlight the key debates in the field. Finally, we discuss open challenges and future research directions, focusing on potentially enhancing generalization capabilities and addressing safety issues in language-conditioned robot manipulators.

研究动机与目标

• 系统地对语言引导的机器人操作在四个整合范式中的最新进展进行分类与分析：用于状态评估的语言、策略条件化、认知规划，以及统一的视觉-语言-动作模型。
• 从五个维度评估最先进模型：动作粒度、数据与监督范式、系统成本与延迟、环境与评估协议，以及任务规范。
• 识别该领域内的关键争议，包括大语言模型的作用，以及端到端学习与模块化架构之间的权衡。
• 突出语言引导操作机器人在泛化性、安全性及现实世界部署方面面临的开放性挑战。
• 提供15种以上视觉-语言-动作（VLA）模型的结构化概览，涵盖观察模态、动作生成方式及预训练数据等设计维度。

提出的方法

• 将现有方法归类为四种主要整合模式：用于状态评估的语言、作为策略条件的语言、用于认知推理的语言，以及统一的视觉-语言-动作（VLA）模型。
• 提出一个跨五个维度的多轴评估框架：动作粒度（如离散与连续）、数据与监督范式（如模仿学习、强化学习、自监督）、系统成本与延迟、环境（仿真与真实）、任务规范（如零样本、少样本）。
• 使用标准化表格（表10）分析15种以上最先进VLA模型的关键设计选择：观察模态（RGB、深度、本体感觉、文本）、动作生成方式（扩散模型、流匹配、自回归、直接预测）、内部策略机制（思维链、记忆、未来预测）以及预训练数据（多数据集、跨机器人平台）。
• 在基准测试与真实世界部署中评估模型性能，区分多场景测试（MS）、真实世界部署（RW）与跨机器人平台执行（CE）。
• 整合基础模型（如大语言模型LLMs、视觉-语言模型VLMs）与神经符号架构的见解，以评估其在实现推理与零样本泛化中的作用。
• 讨论架构创新，如基于扩散模型的动作生成、用于轨迹优化的流匹配，以及用于长时序任务的记忆增强策略。

实验结果

研究问题

• RQ1 不同方法如何将语言整合到机器人感知、规划与控制中？各类方法的优势与局限性是什么？
• RQ2 在观察模态、动作生成方式与预训练策略方面，视觉-语言-动作模型的关键设计权衡是什么？
• RQ3 当前模型在任务、环境与机器人本体之间的泛化能力如何？哪些因素影响零样本或少样本迁移性能？
• RQ4 训练语言引导操作机器人所采用的主要数据与监督范式是什么？它们如何影响模型的鲁棒性与效率？
• RQ5 语言引导机器人系统在安全性、真实世界部署与长时序任务执行方面面临的主要开放性挑战是什么？

主要发现

• 统一的视觉-语言-动作（VLA）模型，特别是采用扩散模型或流匹配进行动作生成的模型，在多样化任务与环境中展现出强大的零样本泛化能力。
• 在跨机器人平台数据（CE）上预训练的模型在未见机器人平台上的迁移能力显著提升，优于仅在单机器人数据上训练的模型。
• 在VLA策略中集成思维链（CoT）与未来预测（FP）机制可增强推理能力，实现对长时序任务的更好分解。
• 真实世界部署仍是主要瓶颈：尽管许多模型在仿真中表现优异（如LoHoVLA与DexVLA的成功率超过85%），但真实世界性能平均下降15%–30%，主要受仿真到现实的差距影响。
• 采用自回归或直接预测进行动作生成的模型相比扩散模型具有更低的推理延迟，更适合实时控制。
• 在ForceVLA与Tactile-VLA等模型中引入触觉或力觉传感可显著提升在接触密集型任务中的操作鲁棒性，尤其在低可见度或非结构化环境中。