[论文解读] General In-Hand Object Rotation with Vision and Touch

Haozhi Qi, Brent Yi+5 more|arXiv (Cornell University)|Sep 18, 2023

Tactile and Sensory Interactions被引用 6

一句话总结

RotateIt 是一种融合视觉与触觉的强化学习系统，可在多个轴向上实现通用的、基于指尖的物体旋转。该系统在模拟环境中使用特权形状和物理属性信息进行训练，将这些知识提炼为视觉触觉变换器，从而从嘈杂的真实世界视觉和触觉输入中推断物体属性，实现无需微调的稳健仿真到真实世界的迁移，适用于多种真实世界物体，包括训练期间未见过的物体。

ABSTRACT

We introduce RotateIt, a system that enables fingertip-based object rotation along multiple axes by leveraging multimodal sensory inputs. Our system is trained in simulation, where it has access to ground-truth object shapes and physical properties. Then we distill it to operate on realistic yet noisy simulated visuotactile and proprioceptive sensory inputs. These multimodal inputs are fused via a visuotactile transformer, enabling online inference of object shapes and physical properties during deployment. We show significant performance improvements over prior methods and the importance of visual and tactile sensing.

研究动机与目标

• 仅使用基于指尖的操控，实现可泛化的多轴物体抓握旋转。
• 通过利用多模态感官输入，解决灵巧操控中的仿真到真实世界迁移挑战。
• 通过从视觉和触觉中学习推断物体属性，减少在真实世界部署中对特权信息的依赖。
• 证明视觉和触觉传感对于准确理解复杂非球形物体的形状以及实现稳定操控至关重要。
• 开发一种无需微调或人工示范即可泛化到多种真实世界物体的系统。

提出的方法

• 在仿真环境中使用真实物体形状和物理属性表示（即外参）训练一个虚拟策略，以实现高效的多轴旋转。
• 使用视觉触觉变换器从本体感觉、视觉（深度）和触觉（接触位置）输入序列中估计特权外参编码 $\hat{\mathbf{z}}_t$。
• 通过训练视觉触觉变换器最小化 $\mathbf{z}_t$ 与 $\hat{\mathbf{z}}_t$ 之间的回归损失，将虚拟策略蒸馏为真实世界策略。
• 在杂乱的真实世界场景中使用 Segment Anything 进行前景物体分割。
• 直接将蒸馏后的策略部署到真实世界，使用全向视觉触觉传感器获取的触觉图像和实时推理。
• 通过模仿学习联合训练多轴策略，利用单轴虚拟策略和共享奖励函数，实现跨旋转轴的泛化。

Figure 1: Rotation over multiple axes by integrating proprioception, vision, and touch sensing. RotateIt is trained in simulation and deployed directly to the real-world, where it generalizes to diverse test objects without the need for fine-tuning. Please see our website for more videos.

实验结果

研究问题

• RQ1 基于视觉与触觉增强的策略是否能在真实世界中无需微调即实现稳定且可泛化的多轴物体抓握旋转？
• RQ2 在真实世界操控过程中，视觉和触觉传感如何共同促进对物体形状和物理属性的准确推断？
• RQ3 多模态感官融合对灵巧抓握操控中仿真到真实世界迁移性能有何影响？
• RQ4 单一多轴策略是否能像任务特定的单轴策略一样，在不同旋转轴上实现泛化？
• RQ5 缺乏特权信息对策略性能有何影响？视觉和触觉能否对此进行补偿？

主要发现

• RotateIt 在多种真实世界物体（包括盒子、球体、圆柱体和不规则形状）上成功实现多轴抓握旋转（最高达 $2\pi$ 弧度），且无需微调，整个过程在 20 秒内完成。
• 该系统实现了稳健的仿真到真实世界迁移，即使真实世界物理特性与物体几何形状与仿真环境存在差异，也表现出强大的泛化能力。
• 未使用视觉和触觉的策略无法保持稳定，也无法完成旋转任务，凸显了多模态感知的关键作用。
• 视觉触觉变换器能够从噪声感官输入中准确推断物体属性，当通过模仿学习训练时，其性能与单轴虚拟策略相当。
• 蒸馏后的多轴策略性能与单轴虚拟策略相当（例如，任务奖励分别为 105.21 ± 9.27 与 110.19 ± 8.26），证实了有效的泛化能力。
• 结合视觉和触觉后，物体形状理解显著提升：仅靠本体感觉可区分球体和长方体，但像梨子这样的不规则形状则需要额外感官输入。

Figure 2: An overview of our training pipeline. Trainable components are highlighted in green. In oracle policy training, we jointly optimize the privileged encoder and control policy using PPO. In the visuotactile policy training, we feed a sequence of visuotactile and proprioceptive inputs to a tr