[论文解读] ACNMP: Skill Transfer and Task Extrapolation through Learning from Demonstration and Reinforcement Learning via Representation Sharing

Mete Tuluhan Akbulut, Erhan Öztop+4 more|arXiv (Cornell University)|Mar 25, 2020

Reinforcement Learning in Robotics参考文献 35被引用 11

一句话总结

该论文提出ACNMP，一种新颖的LfD+RL框架，通过在模仿学习与强化学习之间共享潜在表征，实现样本高效的策略改进与技能迁移。通过在示范数据上联合进行监督学习、在新任务上进行强化学习，ACNMP在保持示范技能特征的同时适应分布外条件，实现在外推和跨本体技能迁移方面的最先进性能，并通过真实世界验证。

ABSTRACT

To equip robots with dexterous skills, an effective approach is to first transfer the desired skill via Learning from Demonstration (LfD), then let the robot improve it by self-exploration via Reinforcement Learning (RL). In this paper, we propose a novel LfD+RL framework, namely Adaptive Conditional Neural Movement Primitives (ACNMP), that allows efficient policy improvement in novel environments and effective skill transfer between different agents. This is achieved through exploiting the latent representation learned by the underlying Conditional Neural Process (CNP) model, and simultaneous training of the model with supervised learning (SL) for acquiring the demonstrated trajectories and via RL for new trajectory discovery. Through simulation experiments, we show that (i) ACNMP enables the system to extrapolate to situations where pure LfD fails; (ii) Simultaneous training of the system through SL and RL preserves the shape of demonstrations while adapting to novel situations due to the shared representations used by both learners; (iii) ACNMP enables order-of-magnitude sample-efficient RL in extrapolation of reaching tasks compared to the existing approaches; (iv) ACNMPs can be used to implement skill transfer between robots having different morphology, with competitive learning speeds and importantly with less number of assumptions compared to the state-of-the-art approaches. Finally, we show the real-world suitability of ACNMPs through real robot experiments that involve obstacle avoidance, pick and place and pouring actions.

研究动机与目标

• 解决在通过模仿学习（LfD）完成初始技能获取后，针对新环境的策略适应中样本效率低下的问题。
• 通过强化学习微调策略时，保持专家示范的定性特征，避免对内在技能特征造成干扰。
• 通过学习共享的潜在表征空间，实现在不同形态机器人之间的自动技能迁移。
• 利用LfD与RL组件的统一表征，提升对示范任务参数范围之外的泛化与外推能力。

提出的方法

• ACNMP采用条件神经过程（CNP）架构，使用共享的编码器-解码器网络，学习基于任务参数的示范轨迹潜在表征。
• 模型通过在专家示范上进行监督学习以捕捉初始技能分布，同时通过强化学习在新环境中微调策略，实现联合训练。
• CNP生成的潜在表征在LfD与RL组件之间共享，实现一致的策略适应，同时保持示范的保真度。
• 系统在基于强化学习的策略更新与基于监督学习的示范数据误差校正之间交替进行，确保轨迹形状保持不变并提升泛化能力。
• 共享的潜在空间使得无需显式坐标映射即可实现不同形态机器人之间的零样本技能迁移，通过将示范映射到统一的策略表征空间。
• 真实世界部署采用轨迹跟踪控制器，在6自由度机械臂上执行ACNMP生成的关节轨迹。

实验结果

研究问题

• RQ1 ACNMP能否在示范配置范围之外的新任务参数下实现外推，同时保持技能质量？
• RQ2 LfD与RL之间的共享表征学习在新环境中如何提升样本效率与策略泛化能力？
• RQ3 ACNMP在强化学习微调过程中，能在多大程度上保持专家示范的定性特征？
• RQ4 ACNMP能否在无需显式坐标映射的情况下，实现不同形态机器人之间的有效技能迁移？
• RQ5 ACNMP在涉及障碍物避让与倒液操作的真实机器人操作任务中表现如何？

主要发现

• 在包含障碍物的抓取-放置任务中，ACNMP将平均关节误差从1.861°（CNMP）降低至0.994°，在物体高度9 cm、障碍物高度11 cm的外推条件下表现更优。
• 在倒液任务中，ACNMP将目标倒出的玻璃珠误差从600克（仅LfD）降低至27克，仅经过18次roll-outs，证明了其有效的外推与强化学习适应能力。
• 与现有方法相比，ACNMP在到达任务外推的强化学习中实现了数量级的样本效率提升，仅需18次roll-outs即可在倒液任务中成功适应。
• 系统在适应新条件时，成功保持了示范的高质量轨迹形状，表现为更低的关节误差与更平滑的运动轨迹。
• ACNMP实现了不同形态机器人之间的成功技能迁移，在学习速度上与最先进方法相当，且假设更少。
• 真实机器人实验验证了ACNMP在障碍物避让、抓取-放置与倒液任务中的鲁棒性，证实了其在真实场景中的适用性。