[论文解读] Using Monte Carlo Tree Search as a Demonstrator within Asynchronous Deep RL

Bilal Kartal, Pablo Hernández-Leal+1 more|arXiv (Cornell University)|Nov 30, 2018

Reinforcement Learning in Robotics参考文献 40被引用 7

一句话总结

该论文提出A3C-TP，一种增强型异步优势演员-critic（A3C）方法，引入了一项新颖的终端预测辅助任务，以提升深度强化学习中的样本效率与策略质量。此外，该研究还提出了一种将蒙特卡洛树搜索（MCTS）作为模拟示范者的框架，集成于A3C中，实现更快的学习速度与更安全的探索——在双人迷你Pommerman环境中，该方法被证明可减少自杀行为并提升性能。

ABSTRACT

Deep reinforcement learning (DRL) has achieved great successes in recent years with the help of novel methods and higher compute power. However, there are still several challenges to be addressed such as convergence to locally optimal policies and long training times. In this paper, firstly, we augment Asynchronous Advantage Actor-Critic (A3C) method with a novel self-supervised auxiliary task, i.e. \emph{Terminal Prediction}, measuring temporal closeness to terminal states, namely A3C-TP. Secondly, we propose a new framework where planning algorithms such as Monte Carlo tree search or other sources of (simulated) demonstrators can be integrated to asynchronous distributed DRL methods. Compared to vanilla A3C, our proposed methods both learn faster and converge to better policies on a two-player mini version of the Pommerman game.

研究动机与目标

• 解决深度强化学习中稀疏且延迟的奖励问题，特别是在Pommerman等环境中，不安全动作（如通过炸弹自杀）较为常见。
• 通过引入辅助任务并整合基于规划的示范者，提升异步深度强化学习的样本效率与收敛速度。
• 将基于MCTS的规划与策略网络训练解耦，实现异步、在线策略学习，同时保持性能提升。
• 通过在训练期间使用MCTS作为实时示范者，实现更快、更安全的探索，特别是在由终端预测头识别出的高风险状态中。

提出的方法

• 在A3C中引入终端预测作为自监督辅助任务，网络预测与终止状态的时间接近程度（如自杀），以引导更安全的探索。
• 将基于MCTS的规划器与主A3C训练流程解耦，作为独立的工作线程，生成类似专家的示范用于策略训练。
• 在在线策略训练循环中使用MCTS生成的动作作为示范，异步更新全局策略网络，无需经验回放。
• 通过终端预测头动态触发基于MCTS的示范者，在高风险状态（如终端状态接近度较高时）启用，实现按需干预。
• 保持完全在线策略训练方案，不使用经验回放，确保所有MCTS生成的动作仅使用一次并随即丢弃。
• 使用标准优势演员-critic更新训练A3C策略与价值网络，同时通过最小二乘误差在终端状态时间距离上训练终端预测头。

实验结果

研究问题

• RQ1 自监督辅助任务（预测与终止状态的时间接近度）是否能提升深度强化学习中的学习速度与策略质量？
• RQ2 在无需共享神经网络的情况下，蒙特卡洛树搜索能否在异步深度强化学习框架（如A3C）中有效用作模拟示范者？
• RQ3 整合基于MCTS的规划是否能提升样本效率并减少延迟奖励与高探索风险环境中的不安全行为（如自杀）？
• RQ4 终端预测头能否作为可靠信号，在训练期间高风险状态下触发MCTS示范者的按需使用？
• RQ5 与基线A3C及A3C-TP相比，结合终端预测任务与MCTS示范者框架在训练效率与最终策略性能方面表现如何？

主要发现

• 在双人迷你Pommerman环境中，A3C-TP（引入终端预测辅助任务）比基线A3C学习更快，并收敛到更优策略。
• 将MCTS作为示范者集成后，训练过程中自杀事件数量显著减少，表明探索更安全。
• A3C-TP与MCTS示范者框架（IM-A3C-TP）的联合方案表现最佳，学习速度超过单独的A3C与A3C-TP。
• 终端预测头成功识别出高风险状态（如即将自杀），实现对MCTS示范者的针对性调用，从而提升安全性。
• 该框架实现了规划与深度强化学习在异步、在线策略设置下的有效融合，无需共享权重或经验回放。
• 基于MCTS的示范者优于基于规则的对手，且在分布式深度强化学习系统中展现出作为可扩展黑盒组件的潜力。