[论文解读] Act3D: 3D Feature Field Transformers for Multi-Task Robotic Manipulation

Théophile Gervet, Xian Zhou+2 more|arXiv (Cornell University)|Jun 30, 2023

Advanced Neural Network Applications被引用 6

一句话总结

Act3D 提出了一种3D特征场变换器策略，通过单张RGB-D图像和语言指令，实现对多任务机器人操作的连续分辨率3D动作图预测。通过采用带有相对位置嵌入的粗到细3D点采样方法以及视觉-语言预训练，Act3D在RLBench上实现了最先进性能，并在不同相机视角下表现出稳健的泛化能力，在视角变化下达到74.2%的成功率，远超HiveFormer的20.4%。

ABSTRACT

3D perceptual representations are well suited for robot manipulation as they easily encode occlusions and simplify spatial reasoning. Many manipulation tasks require high spatial precision in end-effector pose prediction, which typically demands high-resolution 3D feature grids that are computationally expensive to process. As a result, most manipulation policies operate directly in 2D, foregoing 3D inductive biases. In this paper, we introduce Act3D, a manipulation policy transformer that represents the robot's workspace using a 3D feature field with adaptive resolutions dependent on the task at hand. The model lifts 2D pre-trained features to 3D using sensed depth, and attends to them to compute features for sampled 3D points. It samples 3D point grids in a coarse to fine manner, featurizes them using relative-position attention, and selects where to focus the next round of point sampling. In this way, it efficiently computes 3D action maps of high spatial resolution. Act3D sets a new state-of-the-art in RL-Bench, an established manipulation benchmark, where it achieves 10% absolute improvement over the previous SOTA 2D multi-view policy on 74 RLBench tasks and 22% absolute improvement with 3x less compute over the previous SOTA 3D policy. We quantify the importance of relative spatial attention, large-scale vision-language pre-trained 2D backbones, and weight tying across coarse-to-fine attentions in ablative experiments. Code and videos are available on our project website: https://act3d.github.io/.

研究动机与目标

• 解决使用极少示范在多样化任务和视角下泛化机器人操作策略的挑战。
• 克服2D多视角方法回归偏移量的局限性，这些方法在视角变化下会失效。
• 仅使用单个RGB-D摄像头，实现对复杂操作任务的高精度、连续分辨率3D动作预测。
• 通过3D特征场建模和视觉-语言对齐，提升零样本泛化能力以及对深度噪声和视角偏移的鲁棒性。
• 开发统一框架，支持在多样化物体类型和交互方式下，基于语言条件的多任务学习。

提出的方法

• 通过粗到细的3D点采样方法将3D场景表示为连续分辨率的特征场，每个点通过相对3D位置嵌入进行注意力计算。
• 使用带有CLIP预训练ResNet50特征的视觉-语言变换器主干网络，以自然语言指令作为动作预测的条件。
• 在粗到细采样阶段之间实施权重共享，并关注局部细粒度视觉特征，以提高定位精度。
• 通过在3D空间中采样虚拟点（ghost points）实现空间自适应计算，从而在推理成本与性能之间实现动态权衡。
• 将模型训练为以3D检测输出的形式预测动作，通过连续3D特征场实现无限分辨率，从而实现精确的动作定位。
• 利用多视角一致性以及随机裁剪等数据增强技术提升鲁棒性，同时避免如偏航旋转等有害扰动。

Figure 1: Act3D is a language-conditioned robot action transformer that learns 3D scene feature fields of arbitrary spatial resolution via recurrent coarse-to-fine 3D point sampling and featurization using relative-position attentions. Act3D featurizes multi-view RGB images with a pre-trained 2D CLI

实验结果

研究问题

• RQ1 与2D多视角回归方法相比，采用粗到细采样策略的3D特征场变换器是否能在视角变化下实现更优的泛化性能？
• RQ2 相对3D位置编码以及采样阶段间的权重共享，对策略性能和泛化能力有何影响？
• RQ3 使用CLIP预训练的2D视觉特征，相较于ImageNet预训练特征，能在多任务语言条件操作中提升多少零样本成功率？
• RQ4 采样虚拟点的数量如何影响推理成本与动作预测精度之间的权衡？
• RQ5 基于单一3D检测策略，是否能仅通过少量运动学示范，泛化到包括液体、刚体和可变形物体在内的多样化操作任务？

主要发现

• 在相机视角变化下，Act3D实现74.2%的成功率，相对下降24%，而HiveFormer为20.4%（相对下降77%），表明其在视角变化下具有显著更优的鲁棒性。
• 移除权重共享或相对3D位置嵌入分别导致17.5%和42.7%的性能下降，凸显二者在泛化中的关键作用。
• 仅使用两个采样阶段而非三个，导致4.5%的性能下降，证实完整粗到细优化的必要性。
• 在所有阶段均关注全局粗粒度特征而非局部细粒度特征，导致8.3%的性能下降，强调细粒度阶段中局部注意力的重要性。
• 将虚拟点采样数从1,000增加到10,000，性能提升4.9%，表明更高采样密度可显著提高精度，且成本增加微乎其微。
• 在多任务设置中，使用CLIP预训练的ResNet50特征相比ImageNet预训练特征，成功率达到8.7%的提升，尤其在语言指令起关键作用时更为显著。

Figure 2: Tasks. We conduct experiments on 92 simulated tasks in RLBench [ 16 ] (only 10 shown), and 8 real-world tasks (only 5 shown).