[论文解读] 3D-VLA: A 3D Vision-Language-Action Generative World Model

Haoyu Zhen, Xiaowen Qiu+6 more|arXiv (Cornell University)|Mar 14, 2024

Robotics and Automated Systems被引用 14

一句话总结

3D-VLA 引入一个 3D 视觉-语言-行动化的具象基础模型，它在 3D 中推理，生成目标图像/点云，并通过整合基于扩散的目标生成与 3D-LMM 主干及交互令牌来预测用于操控的动作。

ABSTRACT

Recent vision-language-action (VLA) models rely on 2D inputs, lacking integration with the broader realm of the 3D physical world. Furthermore, they perform action prediction by learning a direct mapping from perception to action, neglecting the vast dynamics of the world and the relations between actions and dynamics. In contrast, human beings are endowed with world models that depict imagination about future scenarios to plan actions accordingly. To this end, we propose 3D-VLA by introducing a new family of embodied foundation models that seamlessly link 3D perception, reasoning, and action through a generative world model. Specifically, 3D-VLA is built on top of a 3D-based large language model (LLM), and a set of interaction tokens is introduced to engage with the embodied environment. Furthermore, to inject generation abilities into the model, we train a series of embodied diffusion models and align them into the LLM for predicting the goal images and point clouds. To train our 3D-VLA, we curate a large-scale 3D embodied instruction dataset by extracting vast 3D-related information from existing robotics datasets. Our experiments on held-in datasets demonstrate that 3D-VLA significantly improves the reasoning, multimodal generation, and planning capabilities in embodied environments, showcasing its potential in real-world applications.

研究动机与目标

• 启动对 3D 具象世界模型的需求，能够在超越 2D 输入的情况下整合感知、推理和行动。
• 开发一个可扩展的 3D 具象基础模型，使其能够在 3D 环境中进行推理、构想多模态目标并规划行动。
• 创建一个大规模的 3D 具象指令微调数据集，用于训练此类模型。
• 通过专用标记和与大型语言模型对齐的扩散式目标生成，使与 3D 环境的交互成为可能。

提出的方法

• 构建一个 3D-LLM 主干（3D-VLA），具备用于对象、位置、场景的专用交互标记，以及 7-DoF 机器人动作。
• 通过对 RGB-D-to-RGB-D 和点到点扩散模型进行预训练并通过变换器投影器将其与 LLM 对齐，注入目标生成。
• 通过从机器人和人-物体数据集中提取 3D 注释（深度、点云、3D 框、动作）来整理一个 2M 的 3D-语言-动作数据集。
• 使用 LoRA 微调扩散模型，同时仅训练新的标记嵌入、输出层和投影器。
• 通过添加标记（<image>、<pcd> 等）以及投影器，将语言模型与扩散模型桥接，以把扩散模型特征映射到 LLM 嵌入。
• 训练一个管线，在指令条件下推导 3D 目标输出（图像、深度、点云），以引导具象规划。

实验结果

研究问题

• RQ1 面向 3D 的世界模型是否能在具象推理、定位和规划方面超越 2D 基线？
• RQ2 对齐到 LLM 的目标生成扩散模型在提升具象任务的多模态输出（图像、深度、点云）方面能达到何种程度？
• RQ3 一个 3D 具象指令微调数据集是否能在机器人设置中实现稳健的 3D 定位、任务描述和动作预测？
• RQ4 交互标记和 3D 表征如何影响动作规划以及对未见任务的泛化？
• RQ5 在具象任务上，3D-VLA 相对于 2D 视觉-语言模型的对比性能如何？

主要发现

• 3D-VLA 在跨具象数据集的推理和定位任务中优于 2D 基线。
• 3D-VLA 在 RGB 和点云目标生成方面优于非 3D 或未对齐的基线，得益于中间预测的边界框。
• 该模型在 RLBench 和 CALVIN 基准测试上展现出强劲的动作规划，在多项任务中显著优于选定的基线。
• 当使用 3D 注释时，定位结果显示 3D-VLA 超越 Kosmos-2 和 CoVLM 基线。
• 该数据集和 3D 令牌使与动态场景的交互更加稳健，改进了操控预测。
• 专用的 3D 具象指令微调数据集在实现 3D 推理、目标想象和动作执行方面是有效的。