[论文解读] Mapping State Space using Landmarks for Universal Goal Reaching

Zhiao Huang, Fangchen Liu+1 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics被引用 14

一句话总结

本文提出一种分层强化学习方法，利用最远点采样从经验中选择地标状态，构建动态的高层级地图，以提升大规模稀疏奖励MDP中的探索效率与价值函数估计。该方法使智能体在训练初期即可达成远距离目标，并在具有挑战性的导航任务中优于标准强化学习算法。

ABSTRACT

An agent that has well understood the environment should be able to apply its skills for any given goals, leading to the fundamental problem of learning the Universal Value Function Approximator (UVFA). A UVFA learns to predict the cumulative rewards between all state-goal pairs. However, empirically, the value function for long-range goals is always hard to estimate and may consequently result in failed policy. This has presented challenges to the learning process and the capability of neural networks. We propose a method to address this issue in large MDPs with sparse rewards, in which exploration and routing across remote states are both extremely challenging. Our method explicitly models the environment in a hierarchical manner, with a high-level dynamic landmark-based map abstracting the visited state space, and a low-level value network to derive precise local decisions. We use farthest point sampling to select landmark states from past experience, which has improved exploration compared with simple uniform sampling. Experimentally we showed that our method enables the agent to reach long-range goals at the early training stage, and achieve better performance than standard RL algorithms for a number of challenging tasks.

研究动机与目标

• 解决大规模稀疏奖励MDP中远距离目标价值函数估计的挑战。
• 提升复杂环境中远程状态之间的探索与路径规划能力。
• 使智能体能够学习适用于所有状态-目标对的通用价值函数。
• 开发一种可扩展的方法，结合高层级地标抽象与低层级策略优化。

提出的方法

• 使用最远点采样从过往经验中选择地标状态，确保对已访问状态空间实现多样化且具有战略意义的覆盖。
• 构建一个高层级的动态地标抽象地图，抽象环境结构并指导远距离导航。
• 维护一个低层级价值网络，基于当前状态与目标计算精确的局部决策。
• 将地标地图与低层级策略集成，实现分层决策：高层规划至地标，低层执行至目标。
• 利用分层结构提升远距离状态-目标对间的价值函数泛化能力。
• 使用标准强化学习算法端到端训练系统，同时在训练过程中动态更新地标地图。

实验结果

研究问题

• RQ1 基于地标的抽象是否能提升大规模稀疏奖励MDP中的探索效率与价值函数估计？
• RQ2 最远点采样在选择地标以实现远距离目标达成方面是否优于均匀采样？
• RQ3 分层方法是否能使智能体在训练初期更早地达成远距离目标，相比标准强化学习方法？
• RQ4 地标地图在多大程度上提升了通用价值函数在多样化状态-目标对上的泛化能力？

主要发现

• 所提方法使智能体在训练过程中显著更早地达成远距离目标，优于标准强化学习算法。
• 最远点采样带来更优的地標分布，提升探索效率，优于均匀采样。
• 结合地标抽象的分层方法在一系列具有挑战性的稀疏奖励导航任务中表现更优。
• 该方法在远距离状态-目标对之间实现了更优的价值函数泛化，支持通用价值函数的学习。
• 实验结果表明，该方法在多个环境中均持续优于基线强化学习算法。