[论文解读] Learning to Manipulate Deformable Objects without Demonstrations

Yilin Wu, Wilson Yan+3 more|arXiv (Cornell University)|Oct 29, 2019

Robot Manipulation and Learning参考文献 68被引用 18

一句话总结

本论文提出了一种基于视觉RGB观测的条件强化学习框架，用于操纵布料和绳索等可变形物体，且无需人类示范。通过将策略学习解耦——即使用随机拾取点训练放置策略，并利用放置最大值（MVP）推断拾取策略——该方法实现了学习速度提升一个数量级，并成功迁移至真实PR2机器人，在覆盖度任务上优于基线方法。

ABSTRACT

In this paper we tackle the problem of deformable object manipulation through model-free visual reinforcement learning (RL). In order to circumvent the sample inefficiency of RL, we propose two key ideas that accelerate learning. First, we propose an iterative pick-place action space that encodes the conditional relationship between picking and placing on deformable objects. The explicit structural encoding enables faster learning under complex object dynamics. Second, instead of jointly learning both the pick and the place locations, we only explicitly learn the placing policy conditioned on random pick points. Then, by selecting the pick point that has Maximal Value under Placing (MVP), we obtain our picking policy. This provides us with an informed picking policy during testing, while using only random pick points during training. Experimentally, this learning framework obtains an order of magnitude faster learning compared to independent action-spaces on our suite of deformable object manipulation tasks with visual RGB observations. Finally, using domain randomization, we transfer our policies to a real PR2 robot for challenging cloth and rope coverage tasks, and demonstrate significant improvements over standard RL techniques on average coverage.

研究动机与目标

• 解决无模型强化学习在可变形物体操纵任务中样本效率低下的挑战。
• 克服可变形物体中复杂非线性动力学及缺乏标准状态表示的困难。
• 开发一种从原始视觉观测中无需人类示范即可学习有效操纵策略的方法。
• 通过解耦拾取与放置策略学习，打破条件动作空间中的鸡肋问题。
• 通过领域随机化和视觉策略推理，实现在PR2机器人上的成功真实世界部署。

提出的方法

• 引入一种迭代的拾取-放置动作空间，显式建模拾取与放置动作之间的条件关系。
• 通过使用随机拾取策略训练放置策略来实现策略学习的解耦，避免训练过程中的策略坍塌。
• 推理阶段利用已学习放置策略的价值函数，通过放置最大值（MVP）策略推断最优拾取点。
• 在仿真中应用领域随机化以提升泛化能力，并实现零样本迁移至真实世界任务。
• 使用线性映射将像素空间动作校准为机器人坐标，结合MoveIt!运动规划实现实机制器部署。
• 采用包含视觉观测的演员-评论家框架，直接从RGB图像端到端训练策略。

实验结果

研究问题

• RQ1 是否能够通过建模拾取-放置依赖关系的条件动作空间，提升可变形物体操纵任务中的样本效率？
• RQ2 将放置策略训练与拾取策略解耦，是否能有效缓解条件强化学习中的鸡肋问题？
• RQ3 MVP策略是否能有效推断出高质量的拾取策略，而无需显式训练？
• RQ4 在仿真中通过领域随机化训练的策略，是否能泛化至不同种类可变形物体的真实世界操纵任务？
• RQ5 与独立或联合动作空间基线方法相比，所提方法在真实机器人任务中是否表现出更优性能？

主要发现

• 与独立动作空间基线相比，所提方法在基于视觉观测的可变形物体操纵任务中实现了数量级的学习速度提升。
• 即使放置策略是使用随机拾取点训练的，利用MVP策略推断拾取策略仍显著优于随机拾取点，性能大幅提升。
• 在真实PR2机器人上，MVP训练的策略在布料展开任务中实现了84%的平均覆盖度，远超联合策略基线的32%。
• 在绳索展开任务中，MVP策略达到48%的覆盖度，优于联合策略（21%）和独立策略（16%）。
• 领域随机化使得单一策略能够泛化至不同颜色和物理特性的布料，展现出对视觉与物理领域偏移的鲁棒性。
• 该方法无需微调即成功实现实世界部署，表明结合MVP与领域随机化的视觉策略学习可实现零样本真实机器人部署。