[论文解读] Hierarchical Linearly-Solvable Markov Decision Problems

Anders Jönsson, Vicenç Gómez|arXiv (Cornell University)|Mar 10, 2016

Reinforcement Learning in Robotics参考文献 18被引用 4

一句话总结

本文提出了一种分层强化学习框架，将每个任务形式化为线性可解马尔可夫决策过程（LMDP），通过贝尔曼方程的解析解实现高效学习。所提出的分层Z-learning算法通过利用任务组合性和可扩展的价值函数学习，在出租车和自主引导车辆（AGV）领域优于当前最先进方法。

ABSTRACT

We present a hierarchical reinforcement learning framework that formulates each task in the hierarchy as a special type of Markov decision process for which the Bellman equation is linear and has analytical solution. Problems of this type, called linearly-solvable MDPs (LMDPs) have interesting properties that can be exploited in a hierarchical setting, such as efficient learning of the optimal value function or task compositionality. The proposed hierarchical approach can also be seen as a novel alternative to solving LMDPs with large state spaces. We derive a hierarchical version of the so-called Z-learning algorithm that learns different tasks simultaneously and show empirically that it significantly outperforms the state-of-the-art learning methods in two classical hierarchical reinforcement learning domains: the taxi domain and an autonomous guided vehicle task.

研究动机与目标

• 通过结合分层强化学习与线性可解马尔可夫决策过程（LMDPs），解决大规模强化学习中的维度灾难问题。
• 利用LMDP的性质，实现在分层任务中对最优价值函数的高效、解析式学习。
• 开发一种新型分层Z-learning算法，可同时学习多个任务并高效组合它们。
• 在出租车领域和自主引导车辆任务等真实世界基准中，展示方法的可扩展性和性能提升。

提出的方法

• 将层级中的每个任务形式化为线性可解马尔可夫决策过程（LMDP），其中贝尔曼方程为线性方程，可获得解析解。
• 使用幂迭代法高效计算最优价值函数，避免迭代非线性优化。
• 应用由最优策略导出的符号动作，通过最优动作分布的循环移位获得转移概率。
• 在状态空间中直接使用Z-learning进行离策略价值函数学习，避免构建状态-动作乘积空间的需求。
• 引入任务组合性：子任务的最优策略可线性组合以形成复合任务，无需重新训练。
• 使用动态学习率和优化超参数（如λ, ε）以提升实验中的收敛性和性能。

实验结果

研究问题

• RQ1 能否通过利用LMDP的线性结构来增强分层强化学习，从而提高样本效率和可扩展性？
• RQ2 与当前最先进分层强化学习方法相比，分层Z-learning算法在收敛速度和最终性能方面表现如何？
• RQ3 在分层LMDP中，任务组合性在多大程度上可被利用，以实现复合任务的零成本学习？
• RQ4 将基于LMDP的方法应用于大规模状态空间时，其数值和计算限制是什么，又该如何缓解？

主要发现

• 在15×15出租车领域和简化的2台机器AGV领域中，分层Z-learning算法显著优于当前最先进HRL方法。
• 任务组合性使得无需重新训练即可高效构建复合策略，充分利用了子任务的预学习最优解。
• 即使在大规模状态空间中，该方法也能实现精确的价值函数估计，仅在极大规模网格（如50×50）时数值精度成为瓶颈。
• 使用Z-learning可实现直接在状态空间中的学习，避免了状态-动作乘积空间带来的计算负担。
• 在15×15出租车领域，该算法的收敛速度更快且误差更低，其性能通过价值函数差异的ℓ₁-范数进行衡量。
• 在包含约75,000个状态的AGV领域中，该方法成功学习到最优策略，尽管在大规模下出现了数值精度挑战。