[论文解读] Divide-and-Conquer Monte Carlo Tree Search For Goal-Directed Planning

Giambattista Parascandolo, Lars Buesing+7 more|arXiv (Cornell University)|Apr 23, 2020

Reinforcement Learning in Robotics参考文献 35被引用 9

一句话总结

本文提出分而治之蒙特卡洛树搜索（DC-MCTS），一种分层规划算法，通过使用学习到的子目标提议机制递归地将任务划分为子目标，从而在目标导向的强化学习中实现改进。与顺序规划不同，DC-MCTS支持非顺序的计划构建，显著提升了长时序导航任务中的信用分配和性能表现，在网格世界和MuJoCo连续控制环境中取得了最先进结果。

ABSTRACT

Standard planners for sequential decision making (including Monte Carlo planning, tree search, dynamic programming, etc.) are constrained by an implicit sequential planning assumption: The order in which a plan is constructed is the same in which it is executed. We consider alternatives to this assumption for the class of goal-directed Reinforcement Learning (RL) problems. Instead of an environment transition model, we assume an imperfect, goal-directed policy. This low-level policy can be improved by a plan, consisting of an appropriate sequence of sub-goals that guide it from the start to the goal state. We propose a planning algorithm, Divide-and-Conquer Monte Carlo Tree Search (DC-MCTS), for approximating the optimal plan by means of proposing intermediate sub-goals which hierarchically partition the initial tasks into simpler ones that are then solved independently and recursively. The algorithm critically makes use of a learned sub-goal proposal for finding appropriate partitions trees of new tasks based on prior experience. Different strategies for learning sub-goal proposals give rise to different planning strategies that strictly generalize sequential planning. We show that this algorithmic flexibility over planning order leads to improved results in navigation tasks in grid-worlds as well as in challenging continuous control environments.

研究动机与目标

• 为解决长时序目标导向强化学习中顺序规划的局限性，特别是信用分配不佳以及对准确长时序转移模型的依赖。
• 通过支持以非顺序方式规划，克服顺序规划器在信用分配方面的挑战，使子目标能够独立评估。
• 开发一种规划算法，能够动态地将计算资源分配给复杂子任务，并通过子目标层次结构支持时间抽象。
• 证明灵活的规划顺序（不同于执行顺序）可提升复杂导航环境中样本效率和性能表现。
• 表明基于学习的子目标提议机制的分层规划在离散和连续控制设置中均具有泛化能力，并优于标准MCTS。

提出的方法

• DC-MCTS将规划表述为寻找中间子目标的过程，这些子目标以层次方式将任务划分为两个复杂度相近的独立子问题。
• 该算法使用一个学习到的子目标提议网络，基于先前经验与搜索结果来引导对有希望子目标的搜索。
• 它对每个子任务递归地应用相同的规划过程，从而实现分而治之策略，降低每个子问题的有效时序。
• 规划器使用改进树结构的蒙特卡洛树搜索（MCTS），其中最终计划以子树形式表示，而非单条链式结构，从而支持并行计算与子问题值的复用。
• 通过独立评估子目标，改善了信用分配，因为每个子目标都将问题分解为两个更短时序的任务。
• 该方法支持开环与闭环执行：低层策略处理局部失败，而高层规划器避免进行代价高昂的完整闭环规划。

实验结果

研究问题

• RQ1 非顺序规划策略是否能改善长时序目标导向强化学习中的信用分配？
• RQ2 将任务分层分解为子目标是否相比逐动作顺序规划，能带来更高效、可扩展的规划？
• RQ3 学习到的子目标提议机制是否能有效引导复杂环境中最优任务分解的搜索？
• RQ4 在离散与连续控制导航任务中，DC-MCTS与标准MCTS相比，在样本效率和成功率方面表现如何？
• RQ5 规划顺序的灵活性（不同于执行顺序）在长时序或稀疏奖励环境中在多大程度上能提升性能？

主要发现

• 在相同规划预算下，DC-MCTS在网格世界和MuJoCo导航任务中均显著优于标准MCTS，成功率达到更高水平。
• 在高墙密度环境（d=1.0）的MuJoCo环境中，DC-MCTS表现优于MCTS，后者因搜索先验偏差而出现“微观管理”问题。
• MCTS中采用左优先解析进行子目标选择导致子目标提议过于细粒度且次优，而DC-MCTS通过递归划分自动发现了合适的子目标长度尺度。
• 搜索树可视化显示，DC-MCTS以子树形式构建计划，支持并行探索与缓存子问题值的复用，而MCTS采用线性链式结构。
• DC-MCTS通过动态将规划资源分配给复杂子任务，提升了计算效率，降低了整体规划复杂度。
• 该方法在理论上比前向与后向规划更通用，因为当分解为平凡情况时，它可将两者作为特例包含在内。