[论文解读] Efficient Hierarchical Exploration with Stable Subgoal Representation Learning.

Siyuan Li, Jin Zhang+2 more|arXiv (Cornell University)|May 31, 2021

Reinforcement Learning in Robotics参考文献 47被引用 4

一句话总结

本文提出了一种用于分层强化学习的稳定子目标表征学习方法，通过状态特定正则化，在充分探索区域稳定嵌入表示，同时在未探索区域保持更新能力。借助稳定的表征，该方法引入新颖性与基于潜在值的子目标选择机制，在稀疏奖励的连续控制任务中，相比最先进基线方法，显著提升了探索效率与性能。

ABSTRACT

Goal-conditioned hierarchical reinforcement learning (HRL) serves as a successful approach to solving complex and temporally extended tasks. Recently, its success has been extended to more general settings by concurrently learning hierarchical policies and subgoal representations. However, online subgoal representation learning exacerbates the non-stationary issue of HRL and introduces challenges for exploration in high-level policy learning. In this paper, we propose a state-specific regularization that stabilizes subgoal embeddings in well-explored areas while allowing representation updates in less explored state regions. Benefiting from this stable representation, we design measures of novelty and potential for subgoals, and develop an efficient hierarchical exploration strategy that actively seeks out new promising subgoals and states. Experimental results show that our method significantly outperforms state-of-the-art baselines in continuous control tasks with sparse rewards and further demonstrate the stability and efficiency of the subgoal representation learning of this work, which promotes superior policy learning.

研究动机与目标

• 为解决分层强化学习中在线子目标表征学习的非平稳性与探索挑战。
• 在访问频繁的状态区域稳定子目标嵌入表示，同时允许在探索不足区域进行动态更新。
• 开发一种高效的分层探索策略，通过表征稳定性主动识别新颖且有前景的子目标。
• 提升在复杂、时序长任务中稀疏奖励环境下的策略学习性能。

提出的方法

• 提出一种基于状态访问频率的状态特定正则化技术，约束子目标表征更新。
• 利用正则化后的子目标表征计算子目标新颖性与潜在值，引导探索向未探索但有前景的区域推进。
• 采用分层强化学习框架，高层策略根据子目标的新颖性与潜在值选择目标，低层策略执行动作以实现目标。
• 在频繁访问的状态中维持稳定表征，以减少分布漂移并提升训练稳定性。
• 利用子目标表征的稳定性定义有意义的内在奖励，用于子目标选择。
• 设计一种新颖的探索策略，优先选择高潜在值与高新颖性的子目标，促进对状态空间的高效覆盖。

实验结果

研究问题

• RQ1 在分层强化学习的在线训练中，如何稳定子目标表征学习？
• RQ2 表征稳定性在高维、稀疏奖励环境中的探索效率提升中起到何种作用？
• RQ3 基于稳定子目标表征的新颖性与潜在值度量能否有效引导分层探索？
• RQ4 在复杂控制任务中，该方法在样本效率与最终性能方面相较于最先进方法表现如何？

主要发现

• 所提方法在稀疏奖励的连续控制任务上显著优于最先进基线方法。
• 稳定的子目标表征学习减少了分布漂移，提升了在线学习过程中的训练稳定性。
• 基于新颖性与潜在值的子目标选择策略实现了更高效的探索，覆盖了更大的状态空间区域。
• 该方法展现出更优的样本效率，在更少环境交互次数下获得更高的回报。
• 消融实验表明，状态特定正则化对于维持稳定表征并提升最终策略性能至关重要。
• 实证结果表明，稳定表征有助于实现更可靠且有效的子目标发现，从而增强整体策略学习性能。