[论文解读] Enhancements for Real-Time Monte-Carlo Tree Search in General Video Game Playing

Dennis J. N. J. Soemers, Chiara F. Sironi+2 more|Data Archiving and Networked Services (DANS)|Jul 3, 2024

Artificial Intelligence in Games被引用 10

一句话总结

本文在 GVGP 的开环蒙特卡洛树搜索上提出八项改进，并且单独地和组合地显著提高六十个 GVGP 游戏的胜率，接近2015年GVG-AI比赛的竞争水平。

ABSTRACT

General Video Game Playing (GVGP) is a field of Artificial Intelligence where agents play a variety of real-time video games that are unknown in advance. This limits the use of domain-specific heuristics. Monte-Carlo Tree Search (MCTS) is a search technique for game playing that does not rely on domain-specific knowledge. This paper discusses eight enhancements for MCTS in GVGP; Progressive History, N-Gram Selection Technique, Tree Reuse, Breadth-First Tree Initialization, Loss Avoidance, Novelty-Based Pruning, Knowledge-Based Evaluations, and Deterministic Game Detection. Some of these are known from existing literature, and are either extended or introduced in the context of GVGP, and some are novel enhancements for MCTS. Most enhancements are shown to provide statistically significant increases in win percentages when applied individually. When combined, they increase the average win percentage over sixty different games from 31.0% to 48.4% in comparison to a vanilla MCTS implementation, approaching a level that is competitive with the best agents of the GVG-AI competition in 2015.

研究动机与目标

• 激励并改进在没有领域特定启发式规则的情况下运行的一般视频游戏代理。
• 评估对 GVGP 设置中开环 MCTS 的改进如何影响性能。
• 确定哪些改进在单独和组合使用时具有统计显著的提升。

提出的方法

• 描述八项改进：Progressive History、N-Gram Selection Technique、Tree Reuse、Breadth-First Tree Initialization、Loss Avoidance、Novelty-Based Pruning、Knowledge-Based Evaluations 与 Deterministic Game Detection。
• 在 GVG-AI 框架内使用开环 MCTS，并以基本回滚评估 X(s_T) 进行反向传播结果。
• 在六十个 GVGP 游戏中，通过多种设定和 95% 的置信区间，实验性地比较基线 MCTS 与增强变体。
• 通过 Deterministic Game Detection 研究确定性与非确定性游戏的处理，并据此调整树重用和剪枝。

实验结果

研究问题

• RQ1 当单独应用时，八项提议的改进是否会提高 GVGP 的胜率？
• RQ2 改进的组合是否相对于原生 MCTS 在 GVGP 中产生叠加或协同效应的提升？
• RQ3 改进对 GVGP 中的失败率和游戏结束时间有何影响？
• RQ4 确定性游戏检测如何影响确定性与非确定性 GVGP 游戏中 MCTS 的行为和性能？

主要发现

• 组合改进将平均胜率从 31.0%（原生 MCTS）提升到 48.4%，覆盖 60 场比赛。
• 单个改进常常产生相对于原生 MCTS 的统计显著胜率提升。
• 带有安全预剪枝的广度优先树初始化在某些情形中减少早期损失并提高鲁棒性。
• 基于知识的评估、损失规避和新颖性剪枝各自带来显著收益，其中 KBE 往往提供最大的单独改进。
• 确定性游戏检测为确定性游戏提供 mixmax 风格的调整和有选择的剪枝。
• 在某些配置中，带有适当衰减（gamma）的树重用可以提高胜率。