[论文解读] Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization

Takayuki Osa, Voot Tangkaratt+1 more|arXiv (Cornell University)|Jan 5, 2019

Reinforcement Learning in Robotics参考文献 38被引用 20

一句话总结

该论文提出adInfoHRL，一种分层强化学习方法，通过最大化优势加权重要性采样下的互信息，学习状态-动作空间的离散、可解释潜在表征。通过将选项策略建模为优势函数的模式，并使用确定性策略梯度，该方法实现了多样化选项学习并提升了样本效率，在MuJoCo的Walker2d和Ant任务中性能优于TD3。

ABSTRACT

Real-world tasks are often highly structured. Hierarchical reinforcement learning (HRL) has attracted research interest as an approach for leveraging the hierarchical structure of a given task in reinforcement learning (RL). However, identifying the hierarchical policy structure that enhances the performance of RL is not a trivial task. In this paper, we propose an HRL method that learns a latent variable of a hierarchical policy using mutual information maximization. Our approach can be interpreted as a way to learn a discrete and latent representation of the state-action space. To learn option policies that correspond to modes of the advantage function, we introduce advantage-weighted importance sampling. In our HRL method, the gating policy learns to select option policies based on an option-value function, and these option policies are optimized based on the deterministic policy gradient method. This framework is derived by leveraging the analogy between a monolithic policy in standard RL and a hierarchical policy in HRL by using a deterministic option policy. Experimental results indicate that our HRL approach can learn a diversity of options and that it can enhance the performance of RL in continuous control tasks.

研究动机与目标

• 为解决HRL中识别有效分层策略结构以提升学习效率和性能的挑战。
• 学习与不同行为模式相对应的离散、可解释的状态-动作空间潜在表征。
• 通过优势加权重要性采样，使选项策略与优势函数的模式对齐。
• 通过利用分层策略结构，提升连续控制任务中的样本效率和性能。
• 开发一种将确定性策略梯度方法推广至分层策略的框架，通过门控机制和选项策略学习实现。

提出的方法

• 该方法将分层策略表述为选项的混合，门控策略根据状态相关的概率选择选项。
• 引入优势加权重要性采样，强调优势较高的状态-动作对，引导学习与优势函数模式相对应的潜在变量。
• 通过最大化潜在变量与状态-动作对之间的互信息，学习离散、可解释的状态-动作空间表征。
• 选项策略通过确定性策略梯度方法优化，而门控策略通过选项价值函数最大化期望回报进行训练。
• 该框架利用标准强化学习中单体策略与HRL中分层策略之间的类比，实现统一的训练流程。
• 使用t-SNE可视化验证所学选项在状态-动作空间的不同、非重叠区域激活。

实验结果

研究问题

• RQ1 在HRL中，通过优势加权重要性采样进行互信息最大化，能否有效学习离散、可解释的状态-动作空间潜在表征？
• RQ2 学习与优势函数模式对齐的选项策略，是否能提升连续控制任务中的样本效率和性能？
• RQ3 所提出的adInfoHRL方法能否学习到一组多样化的选项，覆盖复杂控制环境中不同的行为模式？
• RQ4 在MuJoCo基准测试中，adInfoHRL与标准TD3及其他HRL基线方法相比，学习速度和最终性能如何？
• RQ5 与均匀采样或仅基于状态的加权方式相比，优势加权重要性采样机制在多大程度上提升了所学选项策略的质量？

主要发现

• adInfoHRL成功学习到一组多样化选项，这些选项在状态-动作空间的不同、非重叠区域激活，t-SNE可视化结果已证实。
• 与TD3相比，该方法在MuJoCo环境的Walker2d和Ant任务中提升了样本效率和最终性能。
• 通过互信息最大化学习潜在变量，使状态-动作空间被清晰划分为有意义的行为模式。
• 优势加权重要性采样机制有效引导选项策略学习向高回报区域的状态-动作空间发展。
• 门控策略学会选择能最大化期望回报的选项，展示了有效的分层决策能力。
• 该方法在连续控制任务中泛化能力良好，在学习稳定性和最终性能方面优于基线HRL方法。