[论文解读] 3D Diffuser Actor: Policy Diffusion with 3D Scene Representations

Tsung-Wei Ke, Nikolaos Gkanatsios+1 more|arXiv (Cornell University)|Feb 16, 2024

Reinforcement Learning in Robotics被引用 4

一句话总结

3D Diffuser Actor 提出了一种基于扩散的机器人策略，利用3D场景表征和3D相对注意力机制，迭代去噪末端执行器位姿预测，实现了在 RLBench（多视角下提升18.1%绝对性能，单视角下提升13.1%）和 CALVIN（零样本泛化能力相对提升7%）上的最先进性能，同时仅需少量真实世界示范即可实现有效泛化。

ABSTRACT

Diffusion policies are conditional diffusion models that learn robot action distributions conditioned on the robot and environment state. They have recently shown to outperform both deterministic and alternative action distribution learning formulations. 3D robot policies use 3D scene feature representations aggregated from a single or multiple camera views using sensed depth. They have shown to generalize better than their 2D counterparts across camera viewpoints. We unify these two lines of work and present 3D Diffuser Actor, a neural policy equipped with a novel 3D denoising transformer that fuses information from the 3D visual scene, a language instruction and proprioception to predict the noise in noised 3D robot pose trajectories. 3D Diffuser Actor sets a new state-of-the-art on RLBench with an absolute performance gain of 18.1% over the current SOTA on a multi-view setup and an absolute gain of 13.1% on a single-view setup. On the CALVIN benchmark, it improves over the current SOTA by a 9% relative increase. It also learns to control a robot manipulator in the real world from a handful of demonstrations. Through thorough comparisons with the current SOTA policies and ablations of our model, we show 3D Diffuser Actor's design choices dramatically outperform 2D representations, regression and classification objectives, absolute attentions, and holistic non-tokenized 3D scene embeddings.

研究动机与目标

• 通过结合扩散策略与3D场景表征，提升多任务3D机器人操作中的泛化能力与性能。
• 通过建模具有多模态、条件化的扩散分布，解决2D策略与确定性动作头的局限性。
• 通过3D场景特征学习与3D相对注意力机制，实现在不同相机视角与未见环境中的零样本泛化。
• 通过一种3D感知的、迭代去噪的策略，从极少数人类示范中实现强大的真实世界迁移能力。
• 通过消融实验验证架构组件（如3D标记化与3D相对注意力）在泛化与性能方面的贡献。

提出的方法

• 模型使用视觉编码器将多视角RGB-D观测编码为2D图像特征标记。
• 利用深度信息将2D特征标记提升至3D空间，形成表征环境与机器人末端执行器的3D场景标记。
• 3D相对位置注意力Transformer处理3D场景标记、语言指令嵌入与噪声位姿估计，以预测3D平移与旋转误差。
• 策略采用迭代去噪机制：从一个噪声位姿开始，通过扩散过程中的噪声预测，迭代优化末端执行器轨迹。
• 模型基于语言指令进行条件控制，并保留末端执行器位姿的短期历史，以支持长时序、多步骤任务执行。
• 位姿预测以稀疏方式生成（关键位姿），实现高效推理，并与BiRRT等运动规划器兼容。

实验结果

研究问题

• RQ1 将3D场景表征与基于扩散的动作建模相结合，能否提升多任务3D机器人操作中的零样本泛化能力？
• RQ2 与2D或非相对注意力相比，3D相对注意力在视觉-运动策略学习中如何提升空间推理能力与等变性？
• RQ3 3D场景特征化在跨相机视角与新环境中的泛化能力方面，能提升到何种程度？
• RQ4 一种基于3D场景表征的扩散策略，能否从极少数真实世界示范中实现有效泛化？
• RQ5 哪些架构组件（如3D标记化或迭代去噪）对性能与鲁棒性具有最显著的贡献？

主要发现

• 在 RLBench 的多视角设置下，3D Diffuser Actor 相较于之前的最先进方法实现了18.1%的绝对性能提升；在单视角设置下，性能提升达13.1%。
• 在 CALVIN 基准测试中，其零样本未见场景泛化能力显著提升，平均成功多完成0.2个任务，相较之前最先进方法实现7%的相对性能提升。
• 该模型在真实世界任务中表现出色，仅使用每项任务15次示范，即在12项多样化操作任务中实现了高成功率。
• 消融实验证实，3D场景特征化与3D相对注意力对性能至关重要，两者均显著提升了泛化能力。
• 模型在单张GPU上推理耗时仅600ms，得益于稀疏关键位姿预测，展现出高效推理能力，并支持长时序任务，平均每个任务链成功完成3.27项。
• 更强的语言指令条件控制显著提升了性能，尤其在长时序多任务设置下表现突出，消融实验已验证此结论。