[论文解读] Frame Mining: a Free Lunch for Learning Robotic Manipulation from 3D Point Clouds

Minghua Liu, Xuanlin Li+3 more|arXiv (Cornell University)|Oct 14, 2022

3D Shape Modeling and Analysis被引用 8

一句话总结

本文提出 FrameMiners，一种与任务无关的方法，通过自适应选择并融合多种3D点云坐标系（如末端执行器、目标物体、机器人基座和世界坐标系），提升机器人操作学习中的样本效率与性能。通过在无需额外传感器或训练数据的情况下挖掘最优坐标系，FrameMiners 在五个物理操作任务中均取得最先进结果，为基于3D视觉的强化学习提供了‘免费午餐’。

ABSTRACT

We study how choices of input point cloud coordinate frames impact learning of manipulation skills from 3D point clouds. There exist a variety of coordinate frame choices to normalize captured robot-object-interaction point clouds. We find that different frames have a profound effect on agent learning performance, and the trend is similar across 3D backbone networks. In particular, the end-effector frame and the target-part frame achieve higher training efficiency than the commonly used world frame and robot-base frame in many tasks, intuitively because they provide helpful alignments among point clouds across time steps and thus can simplify visual module learning. Moreover, the well-performing frames vary across tasks, and some tasks may benefit from multiple frame candidates. We thus propose FrameMiners to adaptively select candidate frames and fuse their merits in a task-agnostic manner. Experimentally, FrameMiners achieves on-par or significantly higher performance than the best single-frame version on five fully physical manipulation tasks adapted from ManiSkill and OCRTOC. Without changing existing camera placements or adding extra cameras, point cloud frame mining can serve as a free lunch to improve 3D manipulation learning.

研究动机与目标

• 研究3D点云表征中坐标系选择对机器人操作学习性能的影响。
• 识别哪些坐标系（如末端执行器、目标物体、机器人基座、世界坐标系）在样本效率和最终性能上表现更优。
• 开发一种与任务无关的帧融合策略，自动选择并组合在多样化操作任务中最具效果的坐标系。
• 验证帧挖掘可在不增加摄像头、传感器或领域随机化的情况下提升性能，真正实现‘免费午餐’于基于3D视觉的强化学习。

提出的方法

• 该方法评估四种候选坐标系：世界坐标系、机器人基座坐标系、末端执行器坐标系和目标物体坐标系，每种均通过SE(3)变换提供不同的场景对齐方式。
• FrameMiners 被设计为与任务无关的融合策略，结合来自多个坐标系的特征，包括 MixAction (FM-MA)、时间门控 (FM-TG) 等。
• 每个坐标系独立通过共享的3D主干网络（如 PointNet）处理，特征通过可学习注意力或拼接机制进行融合。
• 融合机制使策略能够根据任务动态和状态上下文，动态关注最具有信息量的坐标系（或组合）。
• 该方法兼容强化学习与模仿学习，确保广泛适用性。
• 采用数字孪生流水线，将仿真中训练的策略无显著领域差距地迁移到真实机器人上。

实验结果

研究问题

• RQ1 不同的3D点云坐标系如何影响机器人操作中策略学习的样本效率与最终性能？
• RQ2 在多种操作任务中，末端执行器、目标物体、机器人基座或世界坐标系中，哪一种坐标系能持续优于其他？
• RQ3 是否一种统一的、与任务无关的帧融合策略，能在多个任务上超越最佳单帧基线？
• RQ4 帧挖掘是否可在不增加摄像头或传感器数据的情况下提升性能，从而真正实现基于3D视觉的强化学习的‘免费午餐’？

主要发现

• 与常用的世界坐标系和机器人基座坐标系相比，末端执行器坐标系和目标物体坐标系在多个任务中显著提升了样本效率与最终成功率。
• 在 PushChair 任务中，使用目标物体坐标系融合的 FrameMiners (FM-MA) 成功率达到53%，较无融合时的36%显著提升。
• 在 PickObject 任务中，FM-MA 使用目标物体坐标系融合后达到97%成功率，较无融合时的94%实现持续改进。
• 在双臂任务如 PushChair 和 MoveBucket 中，FrameMiners 超越了单帧基线，证明了多帧融合的价值。
• 在 Kinova Jaco2 机器人上的真实世界部署中，FM-MA 达到84%成功率，优于末端执行器坐标系基线（80%），且在相同训练预算下表现更优。
• 仿真与真实世界之间的性能差距保持极小，证实帧挖掘并未加剧领域偏移。