[论文解读] On-line Policy Improvement using Monte-Carlo Search

Gerald Tesauro, Gregory R. Galperin|arXiv (Cornell University)|Jan 9, 2025

Reinforcement Learning in Robotics参考文献 8被引用 210

一句话总结

本文引入一种在线蒙特卡洛搜索方法，通过在基准策略下估计长期行动价值，实时改进策略；在大量的回合棋实验中显示出显著的误差减少，并在并行硬件上实现了实时可行性。

ABSTRACT

We present a Monte-Carlo simulation algorithm for real-time policy improvement of an adaptive controller. In the Monte-Carlo simulation, the long-term expected reward of each possible action is statistically measured, using the initial policy to make decisions in each step of the simulation. The action maximizing the measured expected reward is then taken, resulting in an improved policy. Our algorithm is easily parallelizable and has been implemented on the IBM SP1 and SP2 parallel-RISC supercomputers. We have obtained promising initial results in applying this algorithm to the domain of backgammon. Results are reported for a wide variety of initial policies, ranging from a random policy to TD-Gammon, an extremely strong multi-layer neural network. In each case, the Monte-Carlo algorithm gives a substantial reduction, by as much as a factor of 5 or more, in the error rate of the base players. The algorithm is also potentially useful in many other adaptive control applications in which it is possible to simulate the environment.

研究动机与目标

• 激发并形式化一种使用蒙特卡洛仿真的在线策略改进方法。
• 展示如何通过对由基准策略 P 引导的滚动路径结果取平均来估计 V_P(x,a)。
• 展示在多样化基准策略下的回棋中显著的策略改进。
• 通过并行化和剪枝来提升计算效率，以实现实时决策。
• 探索截断滚动作为大规模神经网络的可扩展替代方案。

提出的方法

• 将 V_P(x,a) 定义为在基准策略 P 下，在状态 x 选择行动 a 的期望长期奖励。
• 使用从 (x,a) 开始的蒙特卡洛滚动来通过对多条模拟轨迹结果求平均来估计 V_P(x,a)。
• 基于蒙特卡洛估计选择改进后的策略 P′(x) = argmax_a V_P(x,a)。
• 将蒙特卡洛试验在处理器之间并行化，几乎不需要进程间通信。
• 引入在线剪枝，根据置信界丢弃不太可能的行动或几乎平手的候选，以减少试验次数。
• 对于大型神经网络，使用截断滚动以在速度与准确性之间取得平衡。

实验结果

研究问题

• RQ1 在线蒙特卡洛搜索能否在实时中可靠地提升给定基准策略的表现？
• RQ2 蒙特卡洛改进随着基准策略强度和环境随机性如何扩展？
• RQ3 完整滚动与截断滚动在深度神经网络评估中的权衡是什么？
• RQ4 并行化是否能在实际硬件上实现实时决策速率？
• RQ5 不同基准策略（随机、线性评估器、类似 TD-Gammon 的网络）在回棋中对在线蒙特卡洛改进的响应如何？

主要发现

• 蒙特卡洛策略改进在回棋中显著减少了基准玩家的权益损失，覆盖多种基准策略（在某些设置下约降低80%）。
• 在蒙特卡洛改进后，弱基准策略（线性评估器）与 TD-Gammon 竞争力增强，增益大约对应于1到2步的水平，取决于基准策略。
• 使用神经网络的截断滚动提供有利的速度–准确性折中，与完整滚动相比，在 CPU 时间上节省一个数量级的成本，同时实现显著的误差降低。
• 在16–32 SP 节点上的并行实现实现了较高效率（约90% 的加速），实现了对回棋走子的实时决策速率。
• 即使基准玩家更快但较弱，蒙特卡洛改进也能带来显著性能提升；随着基准策略强度的提高，相对改进往往会上升。