[论文解读] Monte Carlo Tree Search for Asymmetric Trees

Thomas M. Moerland, Joost Broekens+2 more|arXiv (Cornell University)|May 23, 2018

Artificial Intelligence in Games参考文献 13被引用 4

一句话总结

本文提出 MCTS-T 和 MCTS-T+，作为蒙特卡洛树搜索的两种扩展，可提升在非随机、完全可观测环境中具有非对称树结构和环路的搜索效率。通过回传树结构不确定性（$σ_{τ}$）并将其用于修改后的 UCB 公式，该算法在如链条任务和 Atari 2600 游戏等非对称领域中表现优于标准 MCTS，且在对称情况下性能不降级。

ABSTRACT

We present an extension of Monte Carlo Tree Search (MCTS) that strongly increases its efficiency for trees with asymmetry and/or loops. Asymmetric termination of search trees introduces a type of uncertainty for which the standard upper confidence bound (UCB) formula does not account. Our first algorithm (MCTS-T), which assumes a non-stochastic environment, backs-up tree structure uncertainty and leverages it for exploration in a modified UCB formula. Results show vastly improved efficiency in a well-known asymmetric domain in which MCTS performs arbitrarily bad. Next, we connect the ideas about asymmetric termination to the presence of loops in the tree, where the same state appears multiple times in a single trace. An extension to our algorithm (MCTS-T+), which in addition to non-stochasticity assumes full state observability, further increases search efficiency for domains with loops as well. Benchmark testing on a set of OpenAI Gym and Atari 2600 games indicates that our algorithms always perform better than or at least equivalent to standard MCTS, and could be first-choice tree search algorithms for non-stochastic, fully-observable environments.

研究动机与目标

• 解决标准 MCTS 在子树深度差异显著的非对称搜索树中效率低下的问题。
• 将 MCTS 扩展以处理搜索树中的环路，即同一状态在单条轨迹中多次出现的情况。
• 通过在 UCB 公式中引入结构不确定性（$\sigma_{\tau}$），改进探索策略，实现探索与利用之间的更好平衡。
• 在具有强非对称性和环路的环境中评估所提算法，包括 OpenAI Gym 和 Atari 2600 游戏。
• 确立 MCTS-T(+) 作为在具有结构复杂性的非随机、完全可观测领域中标准 MCTS 的首选替代方案。

提出的方法

• 在 MCTS 中引入树结构不确定性（$\sigma_{\tau}$）作为新的回传量，表示子树深度和结构的不确定性。
• 修改 UCB 公式以包含 $\sigma_{\tau}$，从而实现对标准 MCTS 所忽略的非对称子树的探索。
• 提出 MCTS-T 用于非随机环境，利用 $\sigma_{\tau}$ 指导非对称树中的探索。
• 通过在完全可观测环境中加入环路检测与阻断机制，将 MCTS-T 扩展为 MCTS-T+，以防止冗余探索。
• 使用修改后的树策略，在选择阶段利用 $\sigma_{\tau}$ 优先选择结构不确定性更高的节点。
• 从叶节点向上回传 $\sigma_{\tau}$，确保每个节点的 $\sigma_{\tau}$ 反映其整棵子树的不确定性。

实验结果

研究问题

• RQ1 能否使 MCTS 在标准 MCTS 表现任意低下的非对称树中更加高效？
• RQ2 如何有效捕捉并利用树结构不确定性（$\sigma_{\tau}$）以改进 MCTS 中的探索？
• RQ3 环路检测与阻断是否能进一步提升在单条轨迹中存在重复状态的领域中的 MCTS 性能？
• RQ4 在含环路和非对称性的环境中（如 Atari 2600 游戏和 OpenAI Gym 任务），MCTS-T+ 是否优于标准 MCTS？
• RQ5 所提方法在对称环境中是否具有鲁棒性，是否避免了与标准 MCTS 相比的性能下降？

主要发现

• 在链条领域中，MCTS-T 显著优于标准 MCTS，该领域是典型的非对称问题，而标准 MCTS 会任意失效。
• 在含环的链条领域中，MCTS-T+ 进一步提升了性能，证明了环路阻断与结构不确定性结合的优越性。
• 在 CartPole 和 FrozenLake 任务中，MCTS-T 和 MCTS-T+ 均持续优于标准 MCTS，尤其在轨迹数量较少时表现更优。
• 在 Atari 2600 游戏中，MCTS-T 和 MCTS-T+ 的表现至少与标准 MCTS 相当，且在较小轨迹预算下表现出一致的改进。
• 在对称环境中，这些算法从未表现差于标准 MCTS，因此可安全地作为默认选择使用。
• $\sigma_{\tau}$ 的回传机制支持在所有子树均被完全枚举时（$\sigma_{\tau} = 0$）提前终止，从而提升计算效率。