[论文解读] Demonstration-Guided Reinforcement Learning with Learned Skills

Karl Pertsch, Youngwoon Lee+2 more|arXiv (Cornell University)|Jul 21, 2021

Reinforcement Learning in Robotics参考文献 44被引用 9

一句话总结

本文提出SkiLD，一种示范引导的强化学习方法，通过利用从大规模离线、任务无关数据集中学习到的可重用技能，加速新任务的学习。与以往方法通过模仿原始动作逐步学习不同，SkiLD通过示范引导的技能学习，显著提升了长时序导航和机器人操作任务中的学习速度和样本效率。

ABSTRACT

Demonstration-guided reinforcement learning (RL) is a promising approach for learning complex behaviors by leveraging both reward feedback and a set of target task demonstrations. Prior approaches for demonstration-guided RL treat every new task as an independent learning problem and attempt to follow the provided demonstrations step-by-step, akin to a human trying to imitate a completely unseen behavior by following the demonstrator's exact muscle movements. Naturally, such learning will be slow, but often new behaviors are not completely unseen: they share subtasks with behaviors we have previously learned. In this work, we aim to exploit this shared subtask structure to increase the efficiency of demonstration-guided RL. We first learn a set of reusable skills from large offline datasets of prior experience collected across many tasks. We then propose Skill-based Learning with Demonstrations (SkiLD), an algorithm for demonstration-guided RL that efficiently leverages the provided demonstrations by following the demonstrated skills instead of the primitive actions, resulting in substantial performance improvements over prior demonstration-guided RL approaches. We validate the effectiveness of our approach on long-horizon maze navigation and complex robot manipulation tasks.

研究动机与目标

• 解决现有示范引导强化学习方法效率低下的问题，这些方法将每个新任务视为独立问题，并逐步模仿原始动作。
• 利用在多样化任务中收集的大规模、任务无关的离线数据集，提取可重用、鲁棒的短时序技能。
• 通过使用基于技能的策略串联先前学习到的技能，而非从零开始学习，提升示范引导强化学习的样本效率。
• 通过将技能先验与任务相关的行为分布对齐，实现在有限示范数据下对新任务的有效迁移。
• 通过结合离线技能学习与任务特定示范，弥合模仿学习与基于技能的强化学习之间的差距。

提出的方法

• 使用技能发现算法（例如基于SPiRL的方法）从大规模多样化任务经验的离线数据集中学习一组可重用技能。
• 从离线数据中构建技能后验分布，以引导探索和策略优化，使其聚焦于任务相关的技能。
• 设计一种强化学习目标，结合基于判别器的奖励奖励与学习到的技能后验先验。
• 不将示范用于模仿原始动作，而是通过技能级策略引导高阶技能的串联。
• 通过结合环境奖励、GAIL风格的判别器奖励和技能后验先验来优化策略，以稳定训练过程。
• 使用混合目标对策略进行微调，以鼓励模仿示范状态，同时利用技能库实现高效探索。

实验结果

研究问题

• RQ1 来自任务无关离线数据集的先验经验是否能显著提升新任务上示范引导强化学习的样本效率？
• RQ2 在复杂、长时序任务中，基于技能的模仿与原始动作模仿相比，在鲁棒性和学习速度方面有何差异？
• RQ3 在哪些场景下——尤其是数据与任务对齐方面——结合示范与离线技能先验能带来最大收益？
• RQ4 当离线数据集与目标任务不匹配时，学习到的技能后验是否仍能有效引导策略学习？
• RQ5 与纯模仿学习或纯强化学习方法相比，将示范与技能先验结合在收敛速度和最终性能方面表现如何？

主要发现

• SkiLD在长时序迷宫导航和机器人操作任务中，相比BC+RL和SPiRL，实现了显著更快的学习速度和更高的最终性能。
• 该方法在极少示范数据下仍能学习到有效策略，通过利用先验技能知识，展现出对低样本示范数据的鲁棒性。
• 消融实验表明，若移除判别器奖励奖励，收敛速度会变慢；若用学习到的后验分布替代技能先验，则因分布错位导致失败。
• 当离线数据集与目标任务匹配度较差时，SkiLD通过示范纠正技能先验，引导策略向任务相关行为靠拢，表现优于SPiRL。
• 该方法在离线数据中尚未包含任务相关技能的场景下最为有效，凸显其在低数据、高变异性设置中的价值。
• 在无环境奖励的纯模仿设置中，SkiLD仍能有效泛化，表明基于技能的策略学习框架具有强鲁棒性。