[论文解读] Exploiting Hierarchy for Learning and Transfer in KL-regularized RL

Dhruva Tirumala, Hyeonwoo Noh+7 more|arXiv (Cornell University)|Mar 18, 2019

Reinforcement Learning in Robotics参考文献 61被引用 20

一句话总结

本文提出了一种分层KL正则化强化学习框架，其中策略和默认行为均通过潜在变量进行增强，以实现结构化的归纳偏置和模块化迁移学习。通过利用分层结构，该方法在连续控制任务中相比非分层基线实现了更快的学习速度和更优的迁移性能。

ABSTRACT

As reinforcement learning agents are tasked with solving more challenging and diverse tasks, the ability to incorporate prior knowledge into the learning system and to exploit reusable structure in solution space is likely to become increasingly important. The KL-regularized expected reward objective constitutes one possible tool to this end. It introduces an additional component, a default or prior behavior, which can be learned alongside the policy and as such partially transforms the reinforcement learning problem into one of behavior modelling. In this work we consider the implications of this framework in cases where both the policy and default behavior are augmented with latent variables. We discuss how the resulting hierarchical structures can be used to implement different inductive biases and how their modularity can benefit transfer. Empirically we find that they can lead to faster learning and transfer on a range of continuous control tasks.

研究动机与目标

• 通过引入结构化的归纳偏置，解决复杂强化学习任务中的样本效率和迁移问题。
• 通过分层结构化策略和默认行为，实现低层次技能或高层次目标等行为的模块化迁移。
• 通过在策略和默认行为中引入潜在变量，推广先前关于KL正则化RL的工作，实现更丰富的归纳偏置。
• 通过实证验证，分层结构能否提升连续控制和网格世界环境中的学习速度与迁移性能。

提出的方法

• 通过在智能体策略和默认行为中引入潜在变量，构建分层结构，以实现模块化和结构化的归纳偏置。
• 采用KL正则化目标，使策略保持与学习到的默认行为的接近，其中默认行为本身也是一个分层模型。
• 采用两级架构：高层策略（HL）在潜在变量上操作，低层策略（LL）生成动作，高层策略通过潜在码控制低层策略。
• 通过限制默认策略对状态信息的访问，引入信息不对称性，实现对特定行为组件的选择性泛化和迁移。
• 开发高效的离策略算法以训练分层模型，利用概率建模和后验熵正则化。
• 使用后验熵成本超参数α来平衡探索与KL正则化，提升训练稳定性和样本效率。

实验结果

研究问题

• RQ1 在KL正则化RL中，分层结构如何提升连续控制任务中的样本效率和迁移学习性能？
• RQ2 在策略和默认行为中引入潜在变量，如何实现更灵活和结构化的归纳偏置？
• RQ3 默认策略中的信息不对称性如何影响特定行为组件的泛化和迁移？
• RQ4 在学习速度和迁移性能方面，分层建模在多大程度上优于非分层基线？

主要发现

• 在多个连续控制任务中，该分层框架相比非分层基线实现了更快的学习速度和更优的迁移性能。
• 在策略和默认行为中使用潜在变量，实现了更有效且模块化的迁移，尤其在需要技能复用的任务中表现突出。
• 默认策略中的信息不对称性实现了对高层目标的选择性泛化，同时保持了低层技能结构的完整性。
• 该方法表现出更优的统计效率，显著减少了达到收敛所需的环境交互次数。
• 在Ant、Ball和网格世界任务上的实证结果表明，样本效率和迁移准确率均实现了持续提升。
• 超参数调优表明，后验熵成本α在平衡探索与正则化方面起着关键作用，最优值因任务而异。