[论文解读] Monte-Carlo Tree Search as Regularized Policy Optimization

Jean-Bastien Grill, Florent Altché+5 more|arXiv (Cornell University)|Jul 24, 2020

Reinforcement Learning in Robotics被引用 34

一句话总结

论文显示类似 AlphaZero 的 MCTS 启发式在正则化策略优化问题上近似，并提出一个使用精确解的变体，在较低仿真预算下表现更好。

ABSTRACT

The combination of Monte-Carlo tree search (MCTS) with deep reinforcement learning has led to significant advances in artificial intelligence. However, AlphaZero, the current state-of-the-art MCTS algorithm, still relies on handcrafted heuristics that are only partially understood. In this paper, we show that AlphaZero's search heuristics, along with other common ones such as UCT, are an approximation to the solution of a specific regularized policy optimization problem. With this insight, we propose a variant of AlphaZero which uses the exact solution to this policy optimization problem, and show experimentally that it reliably outperforms the original algorithm in multiple domains.

研究动机与目标

• 激发 MCTS（特别是 AlphaZero）与正则化策略优化（MPO）之间的联系。
• 证明 AlphaZero 的搜索分布近似于一个正则化策略优化解。
• 提出并评估一个使用精确 MPO 解来提高鲁棒性和性能的 AlphaZero 变体。

提出的方法

• 定义经验访问分布 hat{
  d} 及其与正则化目标的关系。
• 表明 AlphaZero 的动作选择近似于带 KL 散度正则化的正则化策略优化的解。
• 推导出精确的 MPO-like 解 ar{
  d} 并将其与经验访问分布进行比较。
• 提出三种变体（Act、Search、Learn），在 AlphaZero 的不同组件中用 ar{
  d} 替换 ha0。
• 提供一个 All 变体，融合 Act、Search、Learn，并展示其训练目标在学习时使用 ar{
  d}。
• 将 AlphaZero 与 UCT 与正则化策略优化联系起来，并讨论对基于 MCTS 的方法的更广泛影响。

实验结果

研究问题

• RQ1 AlphaZero 的搜索策略是否对应于一个正则化策略优化的解？
• RQ2 用精确的 MPO-like 解替换经验访问分布是否能在低仿真预算下改善性能？
• RQ3 从 MPO-like 策略采样动作如何影响基于 MCTS 的智能体的学习、搜索和执行组件？
• RQ4 这些洞见是否也扩展到像带学习先验的 UCT 等其他 MCTS 变体？
• RQ5 所提出的变体在 Atari 和连续控制领域是否带来经验上的提升？

主要发现

• AlphaZero 及类似的 MCTS 方法近似一个正则化策略优化问题的解。
• 可以计算并将 MPO-like 解 ar{
  d} 作为比经验访问分布更稳定的目标，尤其在低仿真预算下。
• 一个 All 变体在执行、搜索和学习中使用 ar{
  d}，在 Atari Ms. Pac-Man 和持续控制任务中，在低仿真预算下优于基线 MuZero。
• 基于 ar{
  d} 的方法的性能优势在较小的 N_sim 时最为明显，随着仿真预算增加收益减弱，与理论收敛性一致。
• 在搜索阶段使用 ar{
  d} 可带来显著增益，而在学习阶段使用它在非常低的预算下有帮助；组合这些方法在各任务中实现稳健提升。