[论文解读] Hierarchical Policy Search via Return-Weighted Density Estimation

Takayuki Osa, Masashi Sugiyama|arXiv (Cornell University)|Nov 28, 2017

Reinforcement Learning in Robotics被引用 8

一句话总结

该论文提出了一种无需模型的层次化策略搜索方法——基于回报加权密度估计的层次化策略搜索（HPSDE），通过估计轨迹的回报加权密度，自动发现选项策略的数量和位置。在冗余机械臂的复杂运动规划任务中，HPSDE在无需手动调整超参数的情况下，学习到与回报函数各个模态相对应的多个独立抓取/姿态策略，显著优于当前最先进方法。

ABSTRACT

Learning an optimal policy from a multi-modal reward function is a challenging problem in reinforcement learning (RL). Hierarchical RL (HRL) tackles this problem by learning a hierarchical policy, where multiple option policies are in charge of different strategies corresponding to modes of a reward function and a gating policy selects the best option for a given context. Although HRL has been demonstrated to be promising, current state-of-the-art methods cannot still perform well in complex real-world problems due to the difficulty of identifying modes of the reward function. In this paper, we propose a novel method called hierarchical policy search via return-weighted density estimation (HPSDE), which can efficiently identify the modes through density estimation with return-weighted importance sampling. Our proposed method finds option policies corresponding to the modes of the return function and automatically determines the number and the location of option policies, which significantly reduces the burden of hyper-parameters tuning. Through experiments, we demonstrate that the proposed HPSDE successfully learns option policies corresponding to modes of the return function and that it can be successfully applied to a challenging motion planning problem of a redundant robotic manipulator.

研究动机与目标

• 解决在层次强化学习中识别多模态回报函数中模态数量与位置的挑战。
• 减少对人工调参的依赖，特别是选项策略数量这一关键超参数，该参数在现有方法中严重影响性能。
• 实现自动发现每个选项策略仅聚焦于回报函数单一模态的策略，避免跨模态的策略平均。
• 开发一种可同时学习门控策略与选项策略的方法，无需预训练或对初始化敏感。

提出的方法

• HPSDE将层次化策略搜索建模为回报加权密度估计问题，利用混合模型识别回报分布中的模态。
• 采用回报加权重要性采样对轨迹进行重加权，突出高回报区域，以实现更精确的密度估计。
• 通过类似EM的算法，联合优化门控策略与选项策略，最大化回报加权轨迹的似然。
• 选项策略通过现成的策略搜索方法（如REPS）学习，门控策略则使用高斯过程建模，以捕捉上下文相关的选项选择。
• 通过密度估计自动确定选项策略的数量，无需预先指定。
• 该方法建立了期望回报最大化与回报加权密度估计之间的理论联系，为方法目标提供了理论依据。

实验结果

研究问题

• RQ1 回报加权密度估计能否有效识别层次强化学习中多模态回报函数的模态数量与位置？
• RQ2 HPSDE在样本效率和最终性能方面相较于最先进层次强化学习方法表现如何？
• RQ3 HPSDE能否在无需人工调参或预训练的情况下自动确定最优选项策略数量？
• RQ4 HPSDE在连续、高维动作空间的复杂运动规划任务中，能否发现多样且高性能的策略？
• RQ5 与现有方法相比，HPSDE在初始化和超参数选择上的鲁棒性如何？

主要发现

• 在7自由度机械臂的模拟运动规划任务中，HPSDE成功学习到与回报函数不同模态相对应的多个独立选项策略。
• 在冗余机械臂任务中，采用REPS与GP门控策略的HPSDE性能最佳，即使HiREPS使用启发式超参数调优，其性能仍被超越。
• HPSDE自动确定了选项策略数量（最多10个），无需用户预设上限，而HiREPS则需手动调优最小/最大策略数量。
• 该方法对初始化具有鲁棒性，且对超参数的敏感性降低，唯一开放的超参数为最大策略数量。
• HPSDE成功发现多种有效姿态以到达障碍物后方的目标点，证实其在连续、高维状态与动作空间中发现多样化解的能力。
• HPSDE的计算成本与其他方法相当，主要瓶颈在于基于高斯过程的门控策略训练，限制了其在图像等高维输入上的可扩展性。