[论文解读] Manipulating Highly Deformable Materials Using a Visual Feedback Dictionary

Biao Jia, Zhe Hu+2 more|arXiv (Cornell University)|Oct 18, 2017

Advanced Vision and Imaging参考文献 35被引用 3

一句话总结

本文提出了一种基于视觉反馈词典的方法，通过从RGB视频中提取的新型方向褶皱直方图（HOW）特征表示，实现对布料等高度可变形材料的操控。通过将HOW特征与预先计算的视觉反馈词典结合使用稀疏线性表示，系统实现了复杂任务（包括人机协作）的实时、鲁棒控制，在折叠任务中取得了94.53%的成功率，使用HOG+HOW特征。

ABSTRACT

The complex physical properties of highly deformable materials such as clothes pose significant challenges fanipulation systems. We present a novel visual feedback dictionary-based method for manipulating defoor autonomous robotic mrmable objects towards a desired configuration. Our approach is based on visual servoing and we use an efficient technique to extract key features from the RGB sensor stream in the form of a histogram of deformable model features. These histogram features serve as high-level representations of the state of the deformable material. Next, we collect manipulation data and use a visual feedback dictionary that maps the velocity in the high-dimensional feature space to the velocity of the robotic end-effectors for manipulation. We have evaluated our approach on a set of complex manipulation tasks and human-robot manipulation tasks on different cloth pieces with varying material characteristics.

研究动机与目标

• 为解决布料等高度可变形材料带来的高维配置空间和对外部扰动敏感的挑战。
• 开发一种不依赖大量训练数据或标识标记的鲁棒、实时视觉伺服方法。
• 实现在动态、不可预测条件下的人机协作操控可变形物体。
• 通过稀疏表示构建从视觉特征到机器人末端执行器速度的紧凑高效映射。

提出的方法

• 提出一种新颖的方向褶皱直方图（HOW）特征表示方法，通过Gabor滤波器从RGB视频流中提取高频与低频分量，实现计算。
• 采用离线训练阶段，通过采样与聚类构建视觉反馈词典，实现从视觉特征（HOW特征）到末端执行器速度的映射。
• 使用稀疏线性表示（基追踪去噪）从视觉反馈词典中实时计算控制速度，平衡数据拟合与稀疏性。
• 将HOW特征与HOG及颜色直方图结合以增强特征表示，融合策略被证明可提升性能。
• 将系统集成至12-DOF ABB YuMi双臂机器人及RGB相机，实现实时执行复杂操控任务。
• 基于任务特定的示范定义目标构型，并利用视觉反馈引导机器人向期望状态运动。

实验结果

研究问题

• RQ1 基于直方图特征学习的视觉反馈词典是否能够实现对高度可变形材料的精确且实时的机器人操控？
• RQ2 所提出的定向褶皱直方图（HOW）特征在大变形条件下对布料形状变化与形变的捕捉能力如何？
• RQ3 在动态操控任务中，对视觉反馈词典进行稀疏表示在多大程度上提升了控制精度与鲁棒性？
• RQ4 该系统是否能够处理因人类交互导致的外部扰动，实现人机协作操控？

主要发现

• 在基准测试4中，HOG+HOW特征组合取得了94.53%的最高成功率，优于单一特征及其他组合。
• 仅使用HOW特征在基准测试4中也达到了92.21%的成功率，证明其在捕捉布料形变与褶皱方面的有效性。
• 结合稀疏表示的视觉反馈词典降低了速度误差，且性能在词典大小达到一定值后趋于饱和，表明存在冗余性。
• 稀疏表示中的松弛变量α控制数据拟合与稀疏性之间的权衡，最优取值可提升收敛性并降低误差。
• 系统成功在双臂机器人上实现实时操控，完成拉伸、折叠与放置任务，包括人机协作场景。
• 该方法在无需标识标记或大量训练数据的情况下实现高性能，依赖视觉特征与预计算词典。