[论文解读] Learning the Dynamics of Compliant Tool-Environment Interaction for Visuo-Tactile Contact Servoing

Mark Van der Merwe, Dmitry Berenson+1 more|arXiv (Cornell University)|Oct 7, 2022

Tactile and Sensory Interactions被引用 5

一句话总结

本文提出了一种基于模型的视觉-触觉接触伺服控制框架，可在无需完整几何或物理建模的情况下学习柔性工具与环境相互作用的动力学特性。通过使用一种新型接触特征表示——二值接触状态、接触线和末端执行器力/力矩矢量——结合潜在动力学模型与动作偏移补偿，实现了高精度的外部接触控制，在存在遮挡和接触力的情况下，真实世界刮削任务中的材料去除率超过95%，足迹去除率达到40–60%。

ABSTRACT

Many manipulation tasks require the robot to control the contact between a grasped compliant tool and the environment, e.g. scraping a frying pan with a spatula. However, modeling tool-environment interaction is difficult, especially when the tool is compliant, and the robot cannot be expected to have the full geometry and physical properties (e.g., mass, stiffness, and friction) of all the tools it must use. We propose a framework that learns to predict the effects of a robot's actions on the contact between the tool and the environment given visuo-tactile perception. Key to our framework is a novel contact feature representation that consists of a binary contact value, the line of contact, and an end-effector wrench. We propose a method to learn the dynamics of these contact features from real world data that does not require predicting the geometry of the compliant tool. We then propose a controller that uses this dynamics model for visuo-tactile contact servoing and show that it is effective at performing scraping tasks with a spatula, even in scenarios where precise contact needs to be made to avoid obstacles.

研究动机与目标

• 实现柔性工具（如刮刀）在真实世界操作任务中鲁棒的外部接触伺服控制。
• 解决在缺乏工具和环境几何形状与物理属性先验知识的情况下控制接触的挑战。
• 设计一种接触特征表示方法，捕捉关键动力学特性，同时避免完整的系统辨识。
• 利用多模态传感输入（点云、触觉反馈）从真实世界数据中学习动力学，无需显式三维重建。
• 在接触密集环境中实现具有高精度的避障接触轨迹。

提出的方法

• 该方法采用一种新型接触特征表示：二值接触状态、三维接触线和末端执行器力/力矩矢量。
• 采用在7自由度Franka Panda机器人真实轨迹上训练的潜在空间动力学模型，结合自监督接触标签。
• 模型引入基于力/力矩预测误差推导出的动作偏移项，以补偿机器人阻抗特性和控制器误差。
• 通过引入视觉遮挡的数据增强策略，提升推理阶段对部分观测的鲁棒性。
• 采用基于MPPI采样的模型预测控制（MPC）框架，基于学习到的动力学生成控制动作。
• 系统结合多模态感知：RGB-D点云与触觉反馈，用于推断接触状态与动力学特性。

实验结果

研究问题

• RQ1 在不进行工具与环境完整几何或物理建模的前提下，学习到的动力学模型能否有效预测外部接触演化？
• RQ2 如何设计一种接触特征表示，使其既能捕捉关键动力学，又具备可解释性并能抵抗视觉遮挡？
• RQ3 基于力/力矩预测误差的动作偏移补偿是否能提升在机器人控制器误差存在情况下的控制精度？
• RQ4 该方法在真实世界约束（如障碍物和部分观测）下，对接触密集任务（如刮削）的泛化能力如何？
• RQ5 数据增强（如遮挡）与基于力/力矩的动作校正对真实世界接触伺服控制性能有何影响？

主要发现

• 所提方法在五次试验的真实世界刮削任务中，平均材料去除率超过95%，足迹去除率达到40–60%。
• 包含数据增强的完整模型对视觉遮挡表现出鲁棒性，即使接触区域部分被遮挡，性能仍保持较高水平。
• 添加基于力/力矩的动作为偏移并未带来一致的性能提升，可能是因为每一步都通过MPPI重新规划已足够有效。
• 该方法成功完成了复杂接触轨迹，包括在仅刮刀一角接触的情况下仍能实现避障刮削。
• 接触特征表示实现了无需显式重建柔性工具三维模型的精确接触状态追踪与动力学预测。
• 该方法在不同接触几何形状与动态扰动下表现出良好的泛化能力，凸显其在更广泛接触密集型操作任务中的潜力。