[论文解读] Towards Latent Space Based Manipulation of Elastic Rods using Autoencoder Models and Robust Centerline Extractions

Jiaming Qi, Guangfu Ma+4 more|arXiv (Cornell University)|Jan 19, 2021

Robot Manipulation and Learning参考文献 32被引用 15

一句话总结

本文提出了一种基于视觉的、由潜在空间驱动的控制框架，利用深度自编码器（DAE）和基于自组织映射（SOM）的中心线提取方法，将弹性杆变形为期望的二维形状。该方法无需预先了解物理特性即可实现实时形状控制，通过在线雅可比矩阵估计和速度控制实现精确形变，已在仿真和双UR5机器人实验中得到验证，其中BFGS优化算法表现出最快的收敛速度和最佳稳定性。

ABSTRACT

The automatic shape control of deformable objects is a challenging (and currently hot) manipulation problem due to their high-dimensional geometric features and complex physical properties. In this study, a new methodology to manipulate elastic rods automatically into 2D desired shapes is presented. An efficient vision-based controller that uses a deep autoencoder network is designed to compute a compact representation of the object's infinite-dimensional shape. An online algorithm that approximates the sensorimotor mapping between the robot's configuration and the object's shape features is used to deal with the latter's (typically unknown) mechanical properties. The proposed approach computes the rod's centerline from raw visual data in real-time by introducing an adaptive algorithm on the basis of a self-organizing network. Its effectiveness is thoroughly validated with simulations and experiments.

研究动机与目标

• 解决由于复杂几何形状和未知物理特性导致的机器人中高维可变形弹性杆控制难题。
• 开发一种紧凑的、数据驱动的形状表征方法，避免人工特征工程，实现高效控制。
• 实现无需相机标定或了解杆件机械参数的实时视觉形状伺服控制。
• 设计一种鲁棒的中心线提取算法，从原始视觉数据中提取细长弹性杆的中心线。
• 通过双UR5机器人实验对方法进行实验验证，并比较不同雅可比矩阵估计算法的性能。

提出的方法

• 训练深度自编码器（DAE）将高维杆几何形状映射到低维潜在空间，实现紧凑且灵活的形状表征。
• 基于自组织映射（SOM）的算法实时从原始视觉数据中提取杆的中心线，相比传统方法具有更高的鲁棒性和准确性。
• 使用Broyden类算法（R1、SR1、DFP、BFGS）在线近似形变雅可比矩阵，以估计机器人构型与杆形状之间的传感器-运动映射。
• 基于估计的雅可比矩阵推导出速度控制器，并通过李雅普诺夫分析证明其稳定性。
• 系统完全基于视觉反馈运行，无需进行物理参数识别或相机标定。
• 通过仿真和双UR5机器人操控碳纤维杆的真实实验对方法进行评估。

实验结果

研究问题

• RQ1 深度自编码器能否有效从视觉数据中学习到紧凑且可泛化的弹性杆形状潜在表征？
• RQ2 基于自组织映射的中心线提取算法能否在细长弹性杆上实现高精度和实时性能？
• RQ3 在形变过程中，不同Broyden类雅可比矩阵估计方法（R1、SR1、DFP、BFGS）在收敛速度和鲁棒性方面有何差异？
• RQ4 所提出的基于视觉的控制框架能否在不预先了解杆件物理特性或相机标定参数的情况下实现精确的形状跟踪？
• RQ5 在双机器人配置的现实操纵任务中，完整控制回路的性能如何？

主要发现

• 所提出的基于DAE的形状表征方法在形状表征能力上优于传统PCA，且无需人工标记。
• 基于SOM的中心线提取算法实现了高精度和快速计算，支持从原始视觉输入实现实时处理。
• 在四种Broyden方法中，BFGS展现出最快的收敛速度、最高的精度和最佳的鲁棒性，形变过程中波动最小。
• 在所有四次双UR5机器人实验中，系统成功将弹性杆变形至期望的二维目标形状，且未对物体造成任何损伤。
• 速度控制器通过李雅普诺夫分析证明了系统稳定性，整个框架仅依赖视觉反馈运行，无需物理参数或相机标定。
• 该方法对碳纤维等柔性弹性杆有效，但不适用于塑性材料（如橡皮泥）或绳索等非弹性材料。