[论文解读] Differentiable Robotic Manipulation of Deformable Rope-like Objects Using Compliant Position-based Dynamics

Fei Liu, Entong Su+3 more|arXiv (Cornell University)|Feb 20, 2022

Robotic Mechanisms and Dynamics被引用 4

一句话总结

本文提出了一种可微分的、柔性的基于位置的动力学（XPBD）框架，用于柔性绳状物体的机器人操作，实现了精确的现实到仿真模拟与控制。通过利用几何约束建模拉伸/剪切与弯曲/扭转的耦合，并借助 PyTorch 的自动微分，该方法在 Baxter 和 da Vinci 机器人上实现了鲁棒的参数估计与形状控制，真实实验中平均位置误差低于 10cm。

ABSTRACT

Robot manipulation of rope-like objects is an interesting problem that has some critical applications, such as autonomous robotic suturing. Solving for and controlling rope is difficult due to the complexity of rope physics and the challenge of building fast and accurate models of deformable materials. While more data-driven approaches have become more popular for finding controllers that learn to do a single task, there is still a strong motivation for a model-based method that could be used to solve a large variety of optimization problems. Towards this end, we introduced compliant, position-based dynamics (XPBD) to model rope-like objects. Using geometric constraints, the model can represent the coupling of shear/stretch and bend/twist effects. Of crucial importance is that our formulation is differentiable, which can solve parameter estimation problems and improve the matching of rope physics to real-life scenarios (i.e., the real-to-sim problem). For the generality of rope-like objects, two different solvers are proposed to handle the inextensible and extensible effects of varied material stiffness for the rope. We demonstrate our framework's robustness and accuracy on real-to-sim experimental setups using the Baxter robot and the da Vinci research kit (DVRK). Our work leads to a new path for robotic manipulation of the deformable rope-like object taking advantage of the ready-to-use gradients.

研究动机与目标

• 为解决在机器人操作任务中对柔性绳状物体进行精确、可微分物理模拟与控制的挑战。
• 克服非可微分模拟器和数据密集型的无模型方法在现实到仿真迁移与控制中的局限性。
• 开发一种稳定、可微分的模拟框架，支持使用柔性基于位置的动力学实现不可伸长与可伸长绳索的动力学。
• 通过利用 PyTorch 中自动微分的梯度，实现参数估计与形状控制。
• 在 Baxter 和 da Vinci Research Kit（DVRK）平台上展示框架在真实机器人设置中的鲁棒性与准确性。

提出的方法

• 将基于位置的动力学（PBD）扩展，引入柔顺参数，通过几何约束建模绳状物体的拉伸/剪切与弯曲/扭转耦合。
• 引入两种求解器——Thomas 与 Jacobi，分别针对不可伸长与可伸长绳索动力学，以处理具有不同刚度的间距约束。
• 在 PyTorch 中使用自动微分计算梯度，以支持反向传播，从而优化物理参数与控制策略。
• 采用粒子表示法并引入方向状态，以建模包含弯曲、扭转与体积保持的三维绳索行为。
• 采用多阶段优化流程：首先使用真实轨迹数据进行参数估计，随后通过可微分模拟实现形状控制。
• 通过 Aruco 标记进行真实轨迹跟踪，验证框架在真实机器人上的性能，并将模拟结果与物理实验进行对比。

实验结果

研究问题

• RQ1 可微分的、柔性的基于位置的动力学框架能否在机器人操作任务中准确模拟不可伸长与可伸长绳状物体的行为？
• RQ2 在给定真实世界轨迹数据的前提下，所提出的 XPBD 公式在实现绳索物理的现实到仿真参数估计方面效果如何？
• RQ3 可微分模拟在多大程度上能通过基于梯度的优化支持对柔性绳索的形状控制？
• RQ4 在模拟具有不同机械特性的绳索时，Thomas 与 Jacobi 求解器在稳定性和准确性方面如何比较？
• RQ5 在真实机器人设置中，目标点采样有限与末端执行器方向信息缺失对形状控制精度有何影响？

主要发现

• 可微分的 Jacobi XPBD 求解器在可伸长硅绳上实现了控制点平均位置误差 7.8 cm 和参考点平均位置误差 8.2 cm，即使在数据噪声较大的情况下也表现出鲁棒性。
• 由于 Thomas XPBD 求解器假设绳索不可伸长，其在模拟可伸长硅绳时发生发散，证实了为可伸长材料设计独立求解器的必要性。
• 在理想条件下，使用 Thomas XPBD 求解器的形状控制任务实现了与目标形状近乎完美的重合；在非理想情况下，由于目标点采样有限，出现了明显偏差。
• 模拟结果显示，最大距离约束值在迭代过程中收敛至接近零，证实了约束的稳定执行。
• 该框架成功实现了参数估计，使用 Jacobi 求解器时，不可伸长绳索的平均误差为 0.61，可伸长绳索的平均误差为 0.79，表明物理模型拟合可靠。
• 该方法在真实硬件上表现出鲁棒性能，模拟结果与 Baxter 和 da Vinci Research Kit 上的物理实验结果高度吻合。