[论文解读] Deep Imitation Learning of Sequential Fabric Smoothing From an Algorithmic Supervisor

Daniel Seita, Aditya Ganapathi+12 more|arXiv (Cornell University)|Sep 23, 2019

Robot Manipulation and Learning参考文献 47被引用 9

一句话总结

本文提出了一种深度模仿学习框架，通过在模拟环境中使用算法监督器，训练机器人在顺序织物熨平任务中的策略。通过结合领域随机化与 DAgger 算法，使用 RGB、深度或 RGBD 输入，该方法在物理 da Vinci 机器人上实现了 83–95% 的覆盖度，表明相较于仅使用 RGB，深度感知能显著提升在复杂、高度褶皱织物上的性能。

ABSTRACT

Sequential pulling policies to flatten and smooth fabrics have applications from surgery to manufacturing to home tasks such as bed making and folding clothes. Due to the complexity of fabric states and dynamics, we apply deep imitation learning to learn policies that, given color (RGB), depth (D), or combined color-depth (RGBD) images of a rectangular fabric sample, estimate pick points and pull vectors to spread the fabric to maximize coverage. To generate data, we develop a fabric simulator and an algorithmic supervisor that has access to complete state information. We train policies in simulation using domain randomization and dataset aggregation (DAgger) on three tiers of difficulty in the initial randomized configuration. We present results comparing five baseline policies to learned policies and report systematic comparisons of RGB vs D vs RGBD images as inputs. In simulation, learned policies achieve comparable or superior performance to analytic baselines. In 180 physical experiments with the da Vinci Research Kit (dVRK) surgical robot, RGBD policies trained in simulation attain coverage of 83% to 95% depending on difficulty tier, suggesting that effective fabric smoothing policies can be learned from an algorithmic supervisor and that depth sensing is a valuable addition to color alone. Supplementary material is available at https://sites.google.com/view/fabric-smoothing.

研究动机与目标

• 开发一种在复杂、高度褶皱配置下具有鲁棒性与可迁移性的机器人织物熨平策略。
• 探究 RGB、深度（D）和 RGBD 输入在实现织物覆盖最大化所需抓取与拉伸动作中的有效性。
• 通过领域随机化与 DAgger 方法，实现模拟环境中训练的策略在物理 da Vinci 手术机器人上的零样本迁移。
• 在三个初始织物复杂度层级上，评估所学策略相对于分析基线的性能表现。
• 识别深度仅输入策略的失败模式，并证明结合 RGB 与深度信息可提升鲁棒性。

提出的方法

• 基于有限元法（FEM）的织物模拟器生成用于策略训练的真实织物动态与状态。
• 具备完整状态访问权限的算法监督器提供专家示范，用于模仿学习，通过选择最优抓取点与拉伸方向以最大化覆盖度。
• 对颜色与深度模态应用领域随机化，以提升模拟到现实的泛化能力。
• 使用 DAgger 在轨迹 rollout 过程中迭代查询监督器，以提升策略对多样化初始状态的鲁棒性。
• 在三种难度层级的初始织物配置上训练策略，涵盖从轻微到高度褶皱的范围。
• 将 RGB、D 和 RGBD 图像观测作为策略网络的输入，并通过消融实验比较不同模态的有效性。

实验结果

研究问题

• RQ1 在模拟环境中使用算法监督器训练的深度模仿学习策略，是否能在物理机器人上实现高织物覆盖度？
• RQ2 与仅使用 RGB 输入相比，引入深度感知（D 或 RGBD）在覆盖度表现与鲁棒性方面有何差异？
• RQ3 初始织物复杂度（分层级的难度）对策略性能与泛化能力有何影响？
• RQ4 为何深度仅输入策略有时会失败，而 RGBD 输入如何缓解这些失败？
• RQ5 领域随机化与 DAgger 在多大程度上能实现织物熨平任务中有效的模拟到现实迁移？

主要发现

• 在 da Vinci Research Kit 的物理实验中，RGBD 策略在不同难度层级上实现了 83% 至 95% 的覆盖度，优于 RGB 与 D 策略。
• 在最简单的初始配置（第 1 级）中，RGBD 策略在 20 次试验中均达到 92% 的覆盖度，性能与仅使用 RGB 的策略相当。
• 在最复杂的初始配置（第 3 级）中，RGBD 策略实现了最高的最终覆盖度（89.8%）与净增益（33.4%），超过 RGB（25.2%）与 D（7.8%）策略。
• 深度仅输入策略表现出反效果行为——例如在已平整的织物中心附近拉扯——导致覆盖度下降，如失败案例所示。
• RGB 与深度信息的结合显著提升了鲁棒性与微调能力，尤其在存在隐藏角落的高褶皱织物上表现更优。
• 尽管未进行真实图像的训练，策略仍能有效从模拟迁移到现实，验证了领域随机化与 DAgger 在模拟到现实织物操作任务中的有效性。