[论文解读] Manipulation by Feel: Touch-Based Control with Deep Predictive Models

Stephen Tian, Frederik Ebert+5 more|arXiv (Cornell University)|Mar 11, 2019

Advanced Sensor and Energy Harvesting Materials参考文献 23被引用 26

一句话总结

本文提出了一种基于学习的控制框架——深度触觉MPC，利用GelSight传感器获取的原始高分辨率触觉图像，实现无需人工监督的高接触密度机器人操作。通过在无监督探索数据上训练深度预测模型，该方法可规划动作以实现用户指定的触觉目标模式，在小球滚动、杆件重定位和立方体滚动任务中显著提升了精度和成功率，优于手工设计的基线方法。

ABSTRACT

Touch sensing is widely acknowledged to be important for dexterous robotic manipulation, but exploiting tactile sensing for continuous, non-prehensile manipulation is challenging. General purpose control techniques that are able to effectively leverage tactile sensing as well as accurate physics models of contacts and forces remain largely elusive, and it is unclear how to even specify a desired behavior in terms of tactile percepts. In this paper, we take a step towards addressing these issues by combining high-resolution tactile sensing with data-driven modeling using deep neural network dynamics models. We propose deep tactile MPC, a framework for learning to perform tactile servoing from raw tactile sensor inputs, without manual supervision. We show that this method enables a robot equipped with a GelSight-style tactile sensor to manipulate a ball, analog stick, and 20-sided die, learning from unsupervised autonomous interaction and then using the learned tactile predictive model to reposition each object to user-specified configurations, indicated by a goal tactile reading. Videos, visualizations and the code are available here: https://sites.google.com/view/deeptactilempc

研究动机与目标

• 利用高分辨率触觉反馈实现灵巧的机器人操作，特别是在视觉受遮挡的场景中。
• 解决直接在触觉观测空间中指定操作目标（而非在力或位姿空间中）的挑战。
• 从无监督交互中学习有效的控制策略，消除对奖励塑造或人工标注示范的需求。
• 开发一种数据驱动的控制框架，结合深度动力学模型与模型预测控制，用于触觉伺服控制。

提出的方法

• 该方法采用在原始64×48触觉图像上训练的深度视频预测模型，基于机器人动作预测未来的触觉状态。
• 采用模型预测控制（MPC）框架，采样动作序列并选择使预测触觉模式与目标触觉模式差异最小的动作序列。
• 动力学模型通过在多样化无监督交互数据上进行自监督对比学习端到端训练。
• 系统使用安装在三轴机械臂上的自定义GelSight式触觉传感器捕获高带宽触觉反馈。
• 目标指定直接在触觉观测空间中定义，使用目标压力质心或图像模式作为期望结果。
• 该方法以闭环方式运行，每一步时间均基于实时触觉观测重新规划。

实验结果

研究问题

• RQ1 在原始触觉数据上训练的深度预测模型是否能在无需人工标注奖励或示范的情况下实现精确的触觉伺服控制？
• RQ2 当视觉反馈受遮挡时，触觉MPC在实现精确物体重定位方面的有效性如何？
• RQ3 在原始触觉空间中指定目标是否能带来比传统基于力或位姿的指定更自然、更鲁棒的控制？
• RQ4 在复杂的高接触密度任务中，学习得到的触觉MPC策略与手工设计的控制基线相比表现如何？
• RQ5 无监督探索数据在多大程度上足以训练出通用的触觉控制策略？

主要发现

• 在小球滚动任务中，深度触觉MPC实现了最终压力质心与目标之间1.86的中位数L2距离，显著优于基线（2.97）。
• 在杆件重定位任务中，该方法在L2距离测量下实现了93.3%的成功率，而基线仅为46.6%。
• 在立方体滚动任务中，该方法在88.9%的试验中（26/30次）成功达到目标面，而基线仅为13.3%。
• 在所有任务中，该方法在L2距离和均方误差（MSE）指标上均表现更优，定量评估中对基线保持一致的主导优势。
• 定性结果显示，结合学习动力学的模型预测规划能够在复杂、多阶段接触动力学（如立方体滚动）中实现稳定且精确的重定位。
• 结果表明，在复杂接触力学任务中，基于学习的触觉控制可超越手工设计的控制器，尤其在缺乏视觉反馈时。