[论文解读] Monte Carlo Neural Fictitious Self-Play: Approach to Approximate Nash equilibrium of Imperfect-Information Games

Li Zhang, Wei Wang+2 more|arXiv (Cornell University)|Mar 22, 2019

Artificial Intelligence in Games参考文献 19被引用 5

一句话总结

本文提出蒙特卡洛神经虚构自对弈（MC-NFSP）与异步神经虚构自对弈（ANFSP），将蒙特卡洛树搜索（MCTS）与神经虚构自对弈（NFSP）相结合，以在大规模不完美信息博弈中实现更快、更稳定的近似纳什均衡收敛。MC-NFSP提升了样本效率，并使在深度复杂游戏（如奥赛罗）中实现收敛成为可能，而标准NFSP在此类游戏中会失败；ANFSP通过并行的执行者-学习者架构加速训练，在德州扑克游戏中显著降低了内存占用与训练时间。

ABSTRACT

Researchers on artificial intelligence have achieved human-level intelligence in large-scale perfect-information games, but it is still a challenge to achieve (nearly) optimal results (in other words, an approximate Nash Equilibrium) in large-scale imperfect-information games (i.e. war games, football coach or business strategies). Neural Fictitious Self Play (NFSP) is an effective algorithm for learning approximate Nash equilibrium of imperfect-information games from self-play without prior domain knowledge. However, it relies on Deep Q-Network, which is off-line and is hard to converge in online games with changing opponent strategy, so it can't approach approximate Nash equilibrium in games with large search scale and deep search depth. In this paper, we propose Monte Carlo Neural Fictitious Self Play (MC-NFSP), an algorithm combines Monte Carlo tree search with NFSP, which greatly improves the performance on large-scale zero-sum imperfect-information games. Experimentally, we demonstrate that the proposed Monte Carlo Neural Fictitious Self Play can converge to approximate Nash equilibrium in games with large-scale search depth while the Neural Fictitious Self Play can't. Furthermore, we develop Asynchronous Neural Fictitious Self Play (ANFSP). It use asynchronous and parallel architecture to collect game experience. In experiments, we show that parallel actor-learners have a further accelerated and stabilizing effect on training.

研究动机与目标

• 为解决神经虚构自对弈（NFSP）在大规模、深度不完美信息博弈中因依赖离线深度Q网络（DQN）而导致的收敛性差的问题。
• 通过将蒙特卡洛树搜索（MCTS）整合到NFSP中，实现在线与离线混合学习，提升自对弈中的样本效率与训练稳定性。
• 通过引入异步并行执行者-学习者架构来收集经验，减少NFSP的训练时间与内存占用。
• 在复杂环境中评估所提方法，包括奥赛罗、修改版Leduc德州扑克，以及10v10第一人称射击团队对战游戏，以证明其具备超人类表现。

提出的方法

• MC-NFSP将MCTS与NFSP结合，利用MCTS生成高质量的模拟轨迹用于训练最优响应Q网络，取代标准NFSP中使用的离线DQN。
• 该算法维护两个网络：一个用于通过MCTS引导的模拟轨迹学习最优响应的Q网络，另一个用于从历史动作中学习平均策略的监督网络。
• MCTS支持在线规划与探索，使智能体能够适应对手策略的变化，并在深度博弈树中提升样本效率。
• ANFSP采用异步并行的执行者-学习者架构，与独立环境交互，共享参数，并以小批量方式更新梯度，从而减少内存占用并加速训练。
• 在ANFSP中，通过并行收集的经验对共享的Q网络与策略网络执行梯度更新，目标网络定期更新。
• 该方法通过前瞻动力学结合平均策略与最优响应，采用随时间衰减的ε-greedy探索策略。

实验结果

研究问题

• RQ1 MCTS能否提升NFSP在具有深度搜索树的大规模不完美信息博弈中的收敛性与性能？
• RQ2 用基于在线MCTS的模拟轨迹替代离线DQN是否能实现自对弈中更快、更稳定的训练？
• RQ3 异步并行的执行者-学习者架构能否在保持或提升收敛性的同时，减少NFSP的训练时间与内存占用？
• RQ4 MC-NFSP与ANFSP是否能在标准NFSP无法收敛的游戏中实现近似纳什均衡？
• RQ5 结合方法是否能在复杂、实时的不完美信息博弈（如团队制FPS对战）中生成超人类策略？

主要发现

• MC-NFSP在奥赛罗游戏中成功收敛至近似纳什均衡，而标准NFSP即使在70万局后仍未能收敛。
• 在修改版Leduc德州扑克中，ANFSP的可被利用性更低，收敛速度更快，训练时间少于2小时，且可被利用性低于NFSP的0.75。
• ANFSP通过支持并行经验收集与小批量梯度更新，显著降低了内存需求与训练时间。
• 在FPS团队对战游戏中，MC-NFSP智能体在100局对战中对10名大学生玩家取得75%胜率，展现出超人类表现。
• FPS游戏的训练在150局内完成，对人类训练基线（SL-Human）的胜率超过80%，且训练损失接近零。
• MCTS与NFSP的结合使在高策略深度与不完美信息环境中实现稳定、高性能策略学习成为可能。