[论文解读] Surface Following using Deep Reinforcement Learning and a GelSightTactile Sensor

Chen Lü, Jing Wang+1 more|arXiv (Cornell University)|Dec 2, 2019

Tactile and Sensory Interactions参考文献 22被引用 8

一句话总结

本文提出一种基于GelSight触觉传感器的端到端深度强化学习方法，通过直接将原始触觉数据映射到末端执行器运动策略，实现机器人表面追踪。SFDQN模型在生成正确表面追踪动作方面准确率超过80%，展示了在未知或建模不准确的表面上实现稳定操作时对接触面积的有效调控。

ABSTRACT

Tactile sensors can provide detailed contact in-formation that can facilitate robots to perform dexterous, in-hand manipulation tasks. One of the primitive but important tasks is surface following that is a key feature for robots while exploring unknown environments or workspace of inaccurate modeling. In this paper, we propose a novel end-to-end learning strategy, by directly mapping the raw tactile data acquired from a GelSight tactile sensor to the motion of the robot end-effector.Experiments on a KUKA youBot platform equipped with theGelSight sensor show that 80% of the actions generated by a fully trained SFDQN model are proper surface following actions; the autonomous surface following test also indicates that the proposed solution works well on a test surface.

研究动机与目标

• 开发一种鲁棒的端到端表面追踪策略，直接将原始触觉数据映射到机器人动作，避免手工特征工程。
• 在操作过程中保持机器人末端执行器与物体表面之间的接触面积一致，特别是在未知或建模不准确的表面上。
• 评估基于GelSight传感器触觉反馈训练的深度Q网络（SFDQN）在真实世界表面追踪任务中的性能。
• 展示在视觉单独不足的复杂动态接触场景中，基于触觉的控制的可行性和适应性。

提出的方法

• 该方法采用一种新型SFDQN架构的深度Q网络（DQN），以原始GelSight传感器图像作为输入状态。
• 从GelSight图像中计算接触率指标，量化传感器表面与物体接触的比例，作为关键状态表征。
• 根据接触率与目标范围的匹配程度，代理接收密集奖励、稀疏奖励和形状化密集奖励。
• 动作空间由离散的关节位置调整（例如±0.01 rad）组成，用于实时调节末端执行器运动。
• 使用带有ε-贪婪探索的行为策略，以在训练期间提升状态-动作空间的覆盖度。
• 通过经验回放缓冲区和目标网络训练网络，以稳定学习过程，并定期在保留的测试集上评估模型性能。

实验结果

研究问题

• RQ1 能否直接将GelSight传感器的原始触觉数据映射到有效的机器人动作，用于表面追踪，而无需手工特征工程？
• RQ2 基于触觉反馈训练的深度Q网络（SFDQN）在真实世界表面上追踪时，其维持目标接触率的性能如何？
• RQ3 网络深度（2层与10层卷积层）对SFDQN模型中动作预测的稳定性和准确性有何影响？
• RQ4 在现实世界扰动下，如接触暂时中断或表面快速变化，系统表现如何？
• RQ5 该方法能否在不重新训练的情况下泛化到具有不同几何形状和物理特性的表面？

主要发现

• SFDQN模型在真实世界测试表面上生成'良好'动作（即改善或维持目标接触率的动作）的精度超过80%。
• 更深的SFDQN模型（10层卷积层）在训练约5,000个时间步后，相比浅层模型（2层），表现出更稳定和一致的动作预测。
• 系统成功在真实木制表面上实现了自主表面追踪，即使在传感器偶尔脱离的情况下也能维持稳定接触。
• 该方法对GelSight传感器中心区域的接触变化表现出敏感性，但对边缘接触的估计偏低，尤其在高倾角表面上更为明显。
• 系统存在速度上限；由于基于位置的动作指令限制以及KUKA youBot平台速度指令的不稳定延迟，无法有效追踪快速表面变化。
• 若GelSight传感器的背景图像发生改变，则需重新训练，表明接触率计算对准确参考图像存在依赖性。