[论文解读] Hierarchical Solution of Markov Decision Processes using Macro-actions

Miloš Hauskrecht, Nicolas Meuleau+3 more|arXiv (Cornell University)|Jan 30, 2013

Formal Methods in Verification参考文献 21被引用 224

一句话总结

本文提出了一种分层马尔可夫决策过程（MDP）框架，仅使用宏观动作——时间抽象动作——作为决策的唯一基本单元，通过仅对宏观动作区域之间的边界状态进行建模，显著减少了状态空间。通过在这些边界上构建抽象MDP并高效求解，该方法实现了更快的收敛速度，并可在相关任务间复用规划，实证结果表明其相比平面MDP具有显著的计算节省和更好的可扩展性。

ABSTRACT

We investigate the use of temporally abstract actions, or macro-actions, in the solution of Markov decision processes. Unlike current models that combine both primitive actions and macro-actions and leave the state space unchanged, we propose a hierarchical model (using an abstract MDP) that works with macro-actions only, and that significantly reduces the size of the state space. This is achieved by treating macroactions as local policies that act in certain regions of state space, and by restricting states in the abstract MDP to those at the boundaries of regions. The abstract MDP approximates the original and can be solved more efficiently. We discuss several ways in which macro-actions can be generated to ensure good solution quality. Finally, we consider ways in which macro-actions can be reused to solve multiple, related MDPs; and we show that this can justify the computational overhead of macro-action generation.

研究动机与目标

• 为解决传统MDP在大规模状态空间环境中的可扩展性限制。
• 通过使用宏观动作而非原始动作对状态空间进行抽象，降低计算复杂度。
• 开发一种仅使用宏观动作的分层MDP模型，同时保持解的质量。
• 通过在多个相关MDP间复用宏观动作，证明其生成成本的合理性。
• 通过聚焦于宏观动作区域之间的边界状态，提升规划效率。

提出的方法

• 该方法构建一个抽象MDP，其中状态代表宏观动作应用区域之间的边界。
• 宏观动作被视为在特定状态空间区域内运行的局部策略，其转移仅在区域边界处定义。
• 该抽象MDP近似原始MDP，但状态空间大幅减少，从而实现更快的价值迭代或策略迭代。
• 通过选项（options）或基于选项的学习方法生成宏观动作，确保其在各自区域内有效且一致。
• 将抽象MDP的解投影回原始MDP，以获得完整问题的策略。
• 通过在相关MDP间存储并重用宏观动作，实现可复用性，分摊宏观动作生成的计算成本。

实验结果

研究问题

• RQ1 仅使用宏观动作的分层MDP框架是否能显著减少状态空间并提升规划效率？
• RQ2 如何生成宏观动作，以确保在抽象MDP中获得高质量的解？
• RQ3 在多个相关MDP间复用宏观动作是否能证明其生成计算成本的合理性？
• RQ4 抽象MDP是否能在实现更快收敛的同时，对原始MDP提供良好近似？
• RQ5 聚焦于边界状态而非所有状态的抽象模型会产生何种影响？

主要发现

• 仅使用宏观动作的抽象MDP显著减少了状态空间规模，从而大幅缩短了解决时间。
• 通过边界状态抽象的分层方法在大规模问题上的计算效率优于平面MDP。
• 通过基于选项的方法生成的宏观动作在抽象MDP中应用时，仍能保持较强的解质量。
• 在多个相关MDP间复用宏观动作可降低整体规划成本，证明了其生成成本的合理性。
• 该方法在传统MDP求解器因状态空间爆炸而失效的大规模问题上表现出良好的可扩展性。
• 实证结果表明，抽象MDP的解能紧密逼近原始MDP的最优策略。