[论文解读] Compositional Planning Using Optimal Option Models

David Silver, Kamil Ciosek|arXiv (Cornell University)|Jun 27, 2012

Reinforcement Learning in Robotics参考文献 15被引用 29

一句话总结

本文提出了一种组合式规划框架，通过广义贝尔曼方程递归地将最优选项模型（动作的时间抽象）组合成更高级别的选项。该方法通过同时学习子目标的最优选项并将其组合以实现更广泛的目标，实现了分层的多级规划，显著提升了复杂环境中规划的效率与可扩展性。

ABSTRACT

In this paper we introduce a framework for option model composition. Option models are temporal abstractions that, like macro-operators in classical planning, jump directly from a start state to an end state. Prior work has focused on constructing option models from primitive actions, by intra-option model learning; or on using option models to construct a value function, by inter-option planning. We present a unified view of intra- and inter-option model learning, based on a major generalisation of the Bellman equation. Our fundamental operation is the recursive composition of option models into other option models. This key idea enables compositional planning over many levels of abstraction. We illustrate our framework using a dynamic programming algorithm that simultaneously constructs optimal option models for multiple subgoals, and also searches over those option models to provide rapid progress towards other subgoals.

研究动机与目标

• 在单一框架下统一选项内模型学习（从原始动作学习选项）与选项间规划（使用选项构建价值函数）。
• 通过递归组合选项模型，实现跨多个抽象层次的分层规划。
• 开发一种动态规划算法，同时为子目标学习最优选项，并在这些选项中搜索以高效推进至高层目标。
• 将贝尔曼方程推广以支持选项模型的递归组合，实现可扩展且高效的规划。
• 证明组合式选项建模可加快复杂序列决策任务中的收敛速度并提升性能。

提出的方法

• 将贝尔曼方程扩展为以组成选项的价值作为其组成选项的递归函数，实现分层价值传播。
• 引入一种递归组合算子，将两个或多个选项模型组合成一个新的、更高级别的选项模型，具有明确的终止条件和策略。
• 采用一种动态规划算法，联合优化多个子目标的选项模型，并在这些模型中搜索以高效达成远距离目标。
• 使用广义价值函数，考虑选项的时间抽象，支持跨越多个选项的价值更新。
• 应用选项内学习，根据经验细化单个选项模型，同时利用选项间规划将它们组合为复杂行为。
• 引入统一的学习目标，通过递归选项组合平衡子目标达成与整体目标进展。

实验结果

研究问题

• RQ1 如何在单一框架下统一分层强化学习中的选项内与选项间学习？
• RQ2 递归组合选项模型是否能实现跨多个抽象层次的高效规划？
• RQ3 组合最优选项模型对复杂环境中规划速度与收敛性有何影响？
• RQ4 广义贝尔曼方程如何支持选项的递归学习与组合？
• RQ5 单一算法能否同时学习子目标的最优选项并将其组合以实现高层目标？

主要发现

• 所提出的框架通过递归组合最优选项模型实现分层规划，显著加快了复杂任务中的收敛速度。
• 动态规划算法成功学习了多个子目标的最优选项，同时利用这些选项高效规划至远距离目标。
• 选项的递归组合显著提升了规划效率，相较于基于原始动作的平面方法具有明显优势。
• 广义贝尔曼方程有效捕捉了组合选项的价值，实现了跨多个抽象层次的正确价值传播。
• 实验结果表明，该方法通过利用预先学习且可重用的选项模型，实现了向目标的快速推进。
• 该框架同时支持选项内学习（细化单个选项）与选项间规划（组合选项），提供统一的学习与规划机制。