[论文解读] FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding

Huy Ha, Shuran Song|arXiv (Cornell University)|May 8, 2021

Robot Manipulation and Learning参考文献 25被引用 41

一句话总结

FlingBot 表明，使用双臂抓取-拉伸-抛掷的高速度动态抛掷原语，能够比准静态方法更高效地展开布料，能够处理大型或未见过的布料类型并应用于现实世界传输。

ABSTRACT

High-velocity dynamic actions (e.g., fling or throw) play a crucial role in our everyday interaction with deformable objects by improving our efficiency and effectively expanding our physical reach range. Yet, most prior works have tackled cloth manipulation using exclusively single-arm quasi-static actions, which requires a large number of interactions for challenging initial cloth configurations and strictly limits the maximum cloth size by the robot's reach range. In this work, we demonstrate the effectiveness of dynamic flinging actions for cloth unfolding with our proposed self-supervised learning framework, FlingBot. Our approach learns how to unfold a piece of fabric from arbitrary initial configurations using a pick, stretch, and fling primitive for a dual-arm setup from visual observations. The final system achieves over 80% coverage within 3 actions on novel cloths, can unfold cloths larger than the system's reach range, and generalizes to T-shirts despite being trained on only rectangular cloths. We also finetuned FlingBot on a real-world dual-arm robot platform, where it increased the cloth coverage over 4 times more than the quasi-static baseline did. The simplicity of FlingBot combined with its superior performance over quasi-static baselines demonstrates the effectiveness of dynamic actions for deformable object manipulation.

研究动机与目标

• 推动使用高速度动态动作以更高效地展开可变形布料，并超越机器人可及范围。
• 开发一个自监督学习框架（FlingBot），学习在双臂抛掷中应抓取的位置以最大化布料覆盖。
• 展示对超出训练数据的布料类型和尺寸的泛化能力，包括超过臂展的布料和 T 恤。
• 在真实的双臂机器人上进行微调和验证，以与准静态基线进行比较。

提出的方法

• 提出一个用于布料展开的双臂抓取、拉伸和抛掷原语。
• 使用一个紧凑的四标量表示（中心C、角度theta、宽度w）参数化双臂抓取，以满足可达性和碰撞约束。
• 使用空间动作映射来预测每像素的抓取位置价值图，对平移、旋转和缩放不变。
• 通过在自监督仿真中回归动作后的覆盖变化量（布料覆盖的变化）来训练价值网络。
• 在真实的双臂 UR5 设置上微调训练好的策略，并评估布料覆盖的提升。
• 提供一个基于 PyFlex 的自定义仿真器用于布料装载，以及一个自上而下的 RGB 观测管线。

实验结果

研究问题

• RQ1 双臂设置下的动态抛掷动作是否能比准静态方法更高效地展开严重皱褶的布料？
• RQ2 两臂抛掷抓取是否在布料类型（矩形、衬衫）之间泛化，并超出机器人原始工作区？
• RQ3 仅通过视觉输入的自监督学习是否足以在没有专家演示的情况下学习有效的抛掷抓取点？
• RQ4 与仅在仿真中训练相比，现实世界微调如何影响性能？

主要发现

• FlingBot 在仿真中对新布料在3次动作内达到超过80%的覆盖率。
• 在 Normal Rect 布料的仿真中，FlingBot 的最终覆盖率比准静态基线高出63.1个百分点，而基线约为24–29个百分点（表格数据的近似值）。
• FlingBot 在 Large Rect 和 Shirt 布料上保持高性能，显示对未见几何形状的强泛化能力。
• 在现实世界的测试中，FlingBot 在各类布料上的覆盖率超过80%，并在微调后相对于准静态的“抓取&放置”基线提升超过40%。
• FlingBot 通过使布料展开超出机器人初始可及范围，显著扩大了有效覆盖。
• 作者提供了开源仿真器和复现实验的指导。