[论文解读] In-Hand Gravitational Pivoting Using Tactile Sensing

Jason Toskov, R. Newbury+3 more|arXiv (Cornell University)|Oct 11, 2022

Tactile and Sensory Interactions被引用 4

一句话总结

本文提出一种仅依赖触觉的在手重力旋转方法，采用基于LSTM的模型（RSE-LSTM）从基于力的触觉传感器数据中估计物体的角位置和角速度。该方法使并行夹爪能够在无视觉或物体先验知识的情况下，将物体旋转至目标角度，通过微调实现16.6%的性能提升，并在未见过的家用物体上的零样本泛化能力优于基线MLP模型。

ABSTRACT

We study gravitational pivoting, a constrained version of in-hand manipulation, where we aim to control the rotation of an object around the grip point of a parallel gripper. To achieve this, instead of controlling the gripper to avoid slip, we embrace slip to allow the object to rotate in-hand. We collect two real-world datasets, a static tracking dataset and a controller-in-the loop dataset, both annotated with object angle and angular velocity labels. Both datasets contain force-based tactile information on ten different household objects. We train an LSTM model to predict the angular position and velocity of the held object from purely tactile data. We integrate this model with a controller that opens and closes the gripper allowing the object to rotate to desired relative angles. We conduct real-world experiments where the robot is tasked to achieve a relative target angle. We show that our approach outperforms a sliding-window based MLP in a zero-shot generalization setting with unseen objects. Furthermore, we show a 16.6% improvement in performance when the LSTM model is fine-tuned on a small set of data collected with both the LSTM model and the controller in-the-loop. Code and videos are available at https://rhys-newbury.github.io/projects/pivoting/

研究动机与目标

• 通过仅使用触觉反馈实现鲁棒的在手物体重新定向，避免依赖视觉或物体特定模型。
• 解决在重力旋转过程中，以打滑作为控制机制时跟踪物体角位置和角速度的挑战。
• 开发一种无需事先了解物体质量、形状或摩擦系数的可泛化的夹爪控制器。
• 收集并发布一个包含10种家用物体的真实世界触觉数据集，用于重力旋转任务。
• 在真实世界实验中评估未见过物体的零样本泛化性能以及微调性能。

提出的方法

• 训练一个RSE-LSTM神经网络，从重力旋转过程中采集的基于力的触觉传感器数据中预测物体的角位置和角速度。
• 夹爪控制器根据RSE-LSTM的预测结果调节夹持宽度，以诱导物体朝目标角度进行重力旋转。
• 采用双数据集采集协议：静态跟踪数据集和控制器闭环数据集，两者均标注有角位置和角速度。
• 系统利用前向预测补偿夹爪闭合0.83秒的延迟，根据角速度估计调整停止条件。
• 通过在RSE-LSTM模型与控制器闭环运行时收集的数据进行微调，以提升真实世界性能。
• 采用滑动窗口MLP基线模型进行对比，该模型在相同触觉输入上进行训练，以评估泛化能力。

实验结果

研究问题

• RQ1 仅依靠触觉传感是否能准确估计重力旋转过程中的物体角位置和角速度？
• RQ2 仅使用触觉反馈的夹爪控制器是否能在无视觉或物体先验知识的情况下实现目标角度的重新定向？
• RQ3 与基线MLP相比，RSE-LSTM模型在真实世界环境中对未见过的物体的泛化能力如何？
• RQ4 在闭环数据上进行微调在多大程度上提升了控制器在未见过物体上的性能？
• RQ5 在基于触觉的旋转中，主要的失败模式和性能瓶颈是什么，特别是由控制延迟和角速度估计误差引起的？

主要发现

• RSE-LSTM模型在未见过物体上的零样本泛化能力优于MLP基线，展现出更强的泛化能力。
• 在闭环数据上对RSE-LSTM模型进行微调后，性能相比未微调版本提升了16.6%，目标误差从15.2°降低至12.67°。
• LSTM模型在真实世界实验中的故障率为3.3%，显著低于MLP的6.7%。
• 使用真实视觉反馈的Oracle控制器（作为上界）实现的目标误差为3.95°，而最佳RSE-LSTM模型达到12.67°。
• 系统在真实世界测试中的跟踪误差高于测试集表现，可能由于未建模的动力学因素（如超调和夹爪闭合不完全）所致。
• 在某些物体上观察到性能下降，表明对物体特定属性（如质量或表面摩擦）较为敏感，凸显了更广泛数据采集的必要性。