[论文解读] In-Hand Object Pose Tracking via Contact Feedback and GPU-Accelerated Robotic Simulation

Jacky Liang, Ankur Handa+4 more|arXiv (Cornell University)|Feb 27, 2020

Robot Manipulation and Learning参考文献 50被引用 5

一句话总结

本文提出一种利用GPU加速机器人仿真与接触反馈的实时手持物体位姿跟踪方法，结合并行物理仿真与无导数优化，实现在动态操作过程中对物体位姿的估计。该方法在单张GPU上以30 Hz的频率运行，在仿真中实现平均6 mm点云误差，在真实世界实验中实现13 mm误差。

ABSTRACT

Tracking the pose of an object while it is being held and manipulated by a robot hand is difficult for vision-based methods due to significant occlusions. Prior works have explored using contact feedback and particle filters to localize in-hand objects. However, they have mostly focused on the static grasp setting and not when the object is in motion, as doing so requires modeling of complex contact dynamics. In this work, we propose using GPU-accelerated parallel robot simulations and derivative-free, sample-based optimizers to track in-hand object poses with contact feedback during manipulation. We use physics simulation as the forward model for robot-object interactions, and the algorithm jointly optimizes for the state and the parameters of the simulations, so they better match with those of the real world. Our method runs in real-time (30Hz) on a single GPU, and it achieves an average point cloud distance error of 6mm in simulation experiments and 13mm in the real-world ones. View experiment videos at https://sites.google.com/view/in-hand-object-pose-tracking/

研究动机与目标

• 解决在动态操作过程中因严重视觉遮挡导致的手持物体位姿跟踪挑战。
• 克服仅依赖视觉的方法以及基于静态抓握接触的方法在追踪运动物体时的局限性。
• 通过整合物理仿真、接触反馈与优化，实现实时、高保真的位姿估计。
• 通过联合优化仿真参数（如质量、摩擦系数）与物体状态，以匹配真实世界观测，提升追踪精度。
• 在初始位姿不确定性和传感器数据噪声的条件下，实现在仿真与真实世界设置中的鲁棒性能。

提出的方法

• 使用GPU加速的物理仿真器（Isaac Gym）实时运行40个并行的机器人-物体交互仿真。
• 基于视觉位姿注册结果，对物体位姿施加扰动以反映初始不确定性，初始化仿真。
• 对真实与仿真中的机器人应用相同的控制指令，以同步动力学行为。
• 将真实与仿真中手部的接触反馈（大小与方向）作为关键观测输入。
• 采用基于样本的无导数优化器（如REPS、PBO），根据匹配真实与仿真观测的代价函数，迭代更新仿真状态与参数。
• 在每个时间步，选择代价函数最低的仿真结果作为当前物体位姿的估计值。

实验结果

研究问题

• RQ1 GPU加速的物理仿真与接触反馈是否能够实现在动态操作过程中的准确手持物体位姿跟踪？
• RQ2 与固定参数仿真相比，联合优化仿真参数与物体状态在提升追踪性能方面有何改进？
• RQ3 初始位姿不确定性与传感器噪声对真实世界设置中追踪精度有何影响？
• RQ4 在不同噪声水平下，不同无导数优化器在收敛性、误差方差与鲁棒性方面表现如何比较？
• RQ5 该方法能否有效处理香蕉等真实物体中复杂的接触动力学，如滑移与旋转不稳定性？

主要发现

• 在24条轨迹、三种物体的仿真实验中，该方法实现平均6 mm的点云距离误差。
• 在真实世界实验中，平均点云距离误差为13 mm，其中性能最佳的优化器（PBO）在泡沫物体上实现14.1 mm误差，在午餐肉罐头（spam）上实现12.2 mm误差。
• 在仿真中，REPS与PBO优化器在中等初始位姿噪声条件下分别实现最低的平均误差（5.8 mm与5.9 mm）。
• 与基线方法相比，优化器显著降低了误差方差与最大误差，表明收敛更加稳定。
• 由于香蕉具有较长的力臂且对初始条件高度敏感，导致仿真发散，该方法在真实世界实验中未能成功追踪香蕉。
• 消融研究显示，将接触与滑移检测反馈加入代价函数可提升追踪性能，体现在探索距离、仿真数量及反馈包含与否的对比中。