[论文解读] Behavior Priors for Efficient Reinforcement Learning

Dhruva Tirumala, Alexandre Galashov+9 more|arXiv (Cornell University)|Oct 27, 2020

Reinforcement Learning in Robotics参考文献 93被引用 14

一句话总结

本文提出了行为先验——一种轨迹的概率模型，用于编码跨任务的常见运动与交互模式的可重用知识。通过将这些先验知识整合到强化学习中，结合轨迹建模与分层潜在变量，该框架提升了样本效率，实现了迁移学习，并增强了探索能力，其在连续控制环境中表现出显著优于基线方法的性能提升。

ABSTRACT

As we deploy reinforcement learning agents to solve increasingly challenging problems, methods that allow us to inject prior knowledge about the structure of the world and effective solution strategies becomes increasingly important. In this work we consider how information and architectural constraints can be combined with ideas from the probabilistic modeling literature to learn behavior priors that capture the common movement and interaction patterns that are shared across a set of related tasks or contexts. For example the day-to day behavior of humans comprises distinctive locomotion and manipulation patterns that recur across many different situations and goals. We discuss how such behavior patterns can be captured using probabilistic trajectory models and how these can be integrated effectively into reinforcement learning schemes, e.g.\ to facilitate multi-task and transfer learning. We then extend these ideas to latent variable models and consider a formulation to learn hierarchical priors that capture different aspects of the behavior in reusable modules. We discuss how such latent variable formulations connect to related work on hierarchical reinforcement learning (HRL) and mutual information and curiosity based objectives, thereby offering an alternative perspective on existing ideas. We demonstrate the effectiveness of our framework by applying it to a range of simulated continuous control domains.

研究动机与目标

• 通过引入关于常见行为模式的先验知识，解决强化学习中的样本效率低下问题。
• 开发一个统一框架，利用概率轨迹分布建模跨任务的可重用行为。
• 通过将共享的运动与交互模式编码为行为先验，实现高效的多任务与迁移学习。
• 通过分层与模块化架构将行为先验整合到深度强化学习中，以提升泛化能力与控制性能。
• 通过概率建模的视角，将行为先验与层次强化学习、基于好奇心的探索等现有方法相连接。

提出的方法

• 使用深度生成模型将行为先验建模为概率轨迹分布，捕捉跨任务的常见运动与交互模式。
• 采用变分推断训练先验，通过最大化演示轨迹对数似然的下界实现。
• 通过蒸馏损失将行为先验整合到强化学习目标中，促使策略遵循先验的轨迹分布。
• 采用分层潜在变量模型学习模块化先验，以捕捉从低级技能到高级目标的不同行为层次。
• 通过加权和的方式结合行为先验与标准强化学习目标，包含策略损失、熵奖励与蒸馏损失。
• 在离策略深度强化学习设置中，使用目标网络与软更新机制提升演员、评论家与先验网络的训练稳定性。

实验结果

研究问题

• RQ1 如何有效编码并利用可重用的行为知识，以提升强化学习的样本效率？
• RQ2 概率轨迹模型能否作为有效的先验，在连续控制任务中实现良好的泛化性能？
• RQ3 与层次强化学习或基于好奇心的探索等现有方法相比，行为先验在性能与泛化能力方面表现如何？
• RQ4 具有解耦潜在变量的分层先验在多任务与迁移学习中的表现可提升到何种程度？
• RQ5 行为先验能否引导探索，从而减少策略学习所需的环境交互次数？

主要发现

• 行为先验框架在连续控制任务中显著提升了样本效率，大幅减少了达到高性能所需的环境交互次数。
• 在运动与操作任务中，基于学习到的行为先验的策略优于基线方法，尤其在稀疏奖励设置下表现更优。
• 分层先验的使用增强了任务间的泛化能力，使智能体能更有效地在相关环境中迁移技能。
• 蒸馏损失组件有助于稳定训练并加快收敛速度，尤其在结合熵正则化时效果更明显。
• 在PointMass、Humanoid、Ant及操作任务上的实验表明，与标准SAC及先前基线相比，该框架在最终回报与样本效率方面均表现出一致的性能提升。
• 该框架对超参数变化具有鲁棒性，并在复杂动力学与高维观测环境上表现出良好的可扩展性。