[论文解读] Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition

Thomas G. Dietterich|ArXiv.org|May 21, 1999

Reinforcement Learning in Robotics参考文献 27被引用 21

一句话总结

本文提出MAXQ，一种分层强化学习框架，通过将马尔可夫决策过程的价值函数分解为层次子任务中的加法分量，实现高效学习。该方法利用状态抽象和子任务重用，证明了其收敛至递归最优策略，实验表明其收敛速度和性能优于平坦Q-learning。

ABSTRACT

This paper presents the MAXQ approach to hierarchical reinforcement learning based on decomposing the target Markov decision process (MDP) into a hierarchy of smaller MDPs and decomposing the value function of the target MDP into an additive combination of the value functions of the smaller MDPs. The paper defines the MAXQ hierarchy, proves formal results on its representational power, and establishes five conditions for the safe use of state abstractions. The paper presents an online model-free learning algorithm, MAXQ-Q, and proves that it converges wih probability 1 to a kind of locally-optimal policy known as a recursively optimal policy, even in the presence of the five kinds of state abstraction. The paper evaluates the MAXQ representation and MAXQ-Q through a series of experiments in three domains and shows experimentally that MAXQ-Q (with state abstractions) converges to a recursively optimal policy much faster than flat Q learning. The fact that MAXQ learns a representation of the value function has an important benefit: it makes it possible to compute and execute an improved, non-hierarchical policy via a procedure similar to the policy improvement step of policy iteration. The paper demonstrates the effectiveness of this non-hierarchical execution experimentally. Finally, the paper concludes with a comparison to related work and a discussion of the design tradeoffs in hierarchical reinforcement learning.

研究动机与目标

• 通过引入分层价值函数分解，解决平坦强化学习在大规模状态空间中的可扩展性限制。
• 形式化一种支持子任务重用、状态抽象和通过过程性与陈述性语义实现高效学习的分层强化学习方法。
• 开发一种学习算法（MAXQ-Q），即使在使用状态抽象的情况下，也能收敛至递归最优策略。
• 实现从分层价值函数表示中推导出改进的非分层策略。
• 建立在分层强化学习中安全应用状态抽象而不影响收敛性的正式条件。

提出的方法

• MAXQ将目标MDP的价值函数分解为层次图结构中子任务价值函数的加法组合。
• 层次结构通过有向无环图（DAG）定义，其中内部节点表示子目标，叶节点表示基本动作。
• MAXQ-Q是一种在线、无模型的学习算法，使用Q-learning原则在每个节点更新价值函数，并自底向上传播更新。
• 该方法通过五个正式条件支持状态抽象：最大节点无关性、叶节点无关性、结果分布无关性、屏蔽性与终止性。
• 对分层价值函数应用策略改进过程，以提取非分层的改进策略。
• 该框架通过为每个子任务独立维护价值函数，支持子任务的共享与重用。

实验结果

研究问题

• RQ1 分层价值函数分解能否表示与给定层次结构一致的任意策略的价值函数？
• RQ2 在分层强化学习中，状态抽象在何种条件下可安全应用而不影响收敛性？
• RQ3 在使用状态抽象的情况下，MAXQ-Q学习算法是否能收敛至局部最优策略？
• RQ4 分层价值函数表示能否用于推导出优于原始分层策略的更好非分层策略？
• RQ5 在收敛速度和最终策略质量方面，MAXQ-Q与平坦Q-learning相比表现如何？

主要发现

• 即使在忽略状态空间大部分区域的状态抽象下，MAXQ-Q仍以概率1收敛至递归最优策略。
• MAXQ价值函数分解可在有限时域未折扣和无限时域折扣奖励标准下，表示任意分层策略的价值函数。
• 在出租车和Kaelbling HDG任务中的实验表明，使用状态抽象的MAXQ-Q比平坦Q-learning收敛快得多。
• 在Fickle Taxi任务中，基于MAXQ价值函数的非分层执行实现了最优性能，证明了从分层表示中改进策略的有效性。
• HDG任务实验表明，使用从MAXQ推导出的改进非分层策略，性能显著优于原始分层策略。
• 本文建立了五个正式条件（最大节点无关性、叶节点无关性、结果分布无关性、屏蔽性与终止性），允许在分层强化学习中安全使用状态抽象。