[论文解读] A System for General In-Hand Object Re-Orientation

Tao Chen, Jie Xu+1 more|arXiv (Cornell University)|Nov 4, 2021

Robot Manipulation and Learning被引用 7

一句话总结

本文提出了一种无需模型的强化学习框架，用于通用物体在手重定向，采用教师-学生蒸馏方法，在2,000多种不同物体形状上实现了高性能的零样本迁移。该方法在向上和向下朝向的手部配置下均能实现鲁棒的重定向，且无需物体形状信息，通过蒸馏和领域随机化展示了其在真实世界中的可行性。

ABSTRACT

In-hand object reorientation has been a challenging problem in robotics due to high dimensional actuation space and the frequent change in contact state between the fingers and the objects. We present a simple model-free framework that can learn to reorient objects with both the hand facing upwards and downwards. We demonstrate the capability of reorienting over 2000 geometrically different objects in both cases. The learned policies show strong zero-shot transfer performance on new objects. We provide evidence that these policies are amenable to real-world operation by distilling them to use observations easily available in the real world. The videos of the learned policies are available at: https://taochenshh.github.io/projects/in-hand-reorientation.

研究动机与目标

• 解决在极少先验知识条件下，对多样化物体几何形状的通用在手重定向挑战。
• 实现在向上和向下朝向手部配置下的操作，包括有和无桌面支撑的情况。
• 开发一种仅使用RGBD观测和关节位置的系统——这些传感器在真实世界机器人中易于获取。
• 在未提供显式形状监督的情况下，实现对新型、未见过的物体形状的强大零样本泛化能力。
• 通过将特权策略知识蒸馏到适用于真实世界的策略中，证明该方法在真实世界部署的可行性。

提出的方法

• 采用无模型深度强化学习，并结合教师-学生训练范式，将使用特权状态信息（如物体速度）训练的策略，蒸馏为仅使用真实世界传感器输入的学生策略。
• 实施重力课程，通过在训练过程中逐步调整重力强度来提升重定向任务的难度，从而提高样本效率和训练稳定性。
• 通过预训练的抓举策略实现稳定的物体初始化，以确保向下手部操作（本身具有不稳定性）的起始状态一致。
• 以原始点云观测和关节位置作为输入，避免依赖物体模型、接触动力学或复杂预处理。
• 在训练过程中应用领域随机化，以提高对传感器噪声和分布偏移的鲁棒性，从而实现向真实世界环境的迁移。
• 在2,000多种几何上各不相同的物体上训练单一策略，展示了与形状无关的控制策略。

实验结果

研究问题

• RQ1 单一的、与形状无关的策略是否能够泛化到在向上和向下朝向手部配置下重定向大量几何差异显著的物体？
• RQ2 在无法访问物体形状或物理模型信息的情况下，无模型强化学习在在手重定向任务中能否实现高成功率？
• RQ3 教师-学生蒸馏在将使用特权信息训练的策略迁移到仅使用RGBD和关节状态输入的真实世界兼容策略方面，效果如何？
• RQ4 重力课程是否显著提升了在不稳定向下手部操作任务中的学习效率和性能？
• RQ5 领域随机化和力矩分析是否能够验证在真实机械手部署所学策略的可行性？

主要发现

• 该系统成功实现了对2,000多种几何上各不相同的物体在向上和向下朝向手部配置下的重定向，包括有和无桌面支撑的情况。
• 策略在未见过的新物体形状上实现了强大的零样本泛化能力，即使在训练过程中未提供形状信息。
• 该方法表明，与形状无关的控制足以实现高性能的在手重定向，挑战了形状感知对这类任务必不可少的假设。
• 通过真实世界传感器输入训练的蒸馏学生策略在领域随机化和力矩分析验证下，显示出在真实世界部署的前景。
• 重力课程和通过抓举策略实现的稳定初始化对于在具有挑战性的向下手部配置中实现高性能至关重要。
• 峰值力矩分析确认，生成的控制指令在真实机械手的可行驱动极限范围内，支持其在真实世界中的迁移潜力。