[论文解读] State Abstraction in MAXQ Hierarchical Reinforcement Learning

Thomas G. Dietterich|ArXiv.org|May 21, 1999

Reinforcement Learning in Robotics参考文献 12被引用 55

一句话总结

本文提出了MAXQ分层强化学习框架中安全状态抽象的五个形式化条件，证明了在应用这些抽象时，MAXQ-Q学习能够收敛到最优策略。实验表明，状态抽象可显著减少价值函数条目数量——在Taxi环境中，所需条目从14,000个减少至632个，使分层学习在效率和可扩展性方面显著提升。

ABSTRACT

Many researchers have explored methods for hierarchical reinforcement learning (RL) with temporal abstractions, in which abstract actions are defined that can perform many primitive actions before terminating. However, little is known about learning with state abstractions, in which aspects of the state space are ignored. In previous work, we developed the MAXQ method for hierarchical RL. In this paper, we define five conditions under which state abstraction can be combined with the MAXQ value function decomposition. We prove that the MAXQ-Q learning algorithm converges under these conditions and show experimentally that state abstraction is important for the successful application of MAXQ-Q learning.

研究动机与目标

• 解决分层强化学习中使用状态抽象时缺乏形式化收敛保证的问题。
• 识别在不损害学习正确性的前提下，可安全应用状态抽象的条件。
• 证明状态抽象对于在复杂环境中实现高效且可扩展的MAXQ-Q学习至关重要。
• 为MAXQ-Q在状态抽象下的收敛性提供形式化证明，扩展了此前缺乏此类保证的已有工作。

提出的方法

• 定义五个安全状态抽象的条件：叶节点无关性、子任务无关性、结果无关性、终止条件和屏蔽条件。
• 将这些抽象集成到MAXQ价值函数分解中，其中Q值被表示为子任务值与完成函数之和。
• 证明在这些条件下，完成函数C(i,s,j)仅依赖于抽象后的状态变量，而非完整状态。
• 采用尊重抽象的GLIE（极限探索下贪婪乐观）探索策略，以确保收敛性。
• 将这些抽象条件应用于Taxi和HDG导航任务，以减少所需价值函数条目数量。
• 利用某些状态变量不影响子任务结果或其完成成本的事实，实现紧凑表示。

实验结果

研究问题

• RQ1 在何种条件下，可在分层强化学习中安全应用状态抽象而不影响收敛性？
• RQ2 如何修改MAXQ价值函数分解以支持状态抽象，同时保持最优性？
• RQ3 状态抽象对MAXQ-Q学习的样本效率和收敛速度有何影响？
• RQ4 状态抽象能否显著减少分层强化学习中价值函数表示的规模？
• RQ5 是否存在MAXQ-Q在使用状态抽象时的正式收敛性证明？

主要发现

• 五个抽象条件——叶节点无关性、子任务无关性、结果无关性、终止条件和屏蔽条件——可确保完成函数C(i,s,j)仅依赖于抽象后的状态变量。
• 在这些抽象条件下，MAXQ-Q学习收敛至唯一的递归最优策略，其证明基于对抽象后状态转移的概率分布分析。
• 在Taxi环境中，状态抽象将所需价值函数条目数从14,000（无抽象）减少至632（有抽象），减少了95.5%。
• 在状态抽象下，MAXQ-Q学习收敛速度显著快于平坦Q学习；而无抽象时，其收敛速度反而慢于平坦Q学习。
• 终止条件（子任务导致父任务终止）使C(i,s,j) = 0，从而无需表示完成成本。
• 屏蔽条件允许在子任务无法执行的状态中省略C(i,s,j)，进一步减小表示规模。