[论文解读] Better Computer Go Player with Neural Network and Long-term Prediction

Yuandong Tian, Yan Zhu|arXiv (Cornell University)|Nov 19, 2015

Artificial Intelligence in Games参考文献 14被引用 14

一句话总结

本文提出Darkforest，一种基于深度卷积神经网络（DCNN）的围棋AI，通过预测多个未来落子而非仅下一步落子来提升走法预测性能，显著提高表现。通过利用长期预测来增强梯度信号，该模型在KGS围棋服务器上达到稳定的3段水平，结合蒙特卡洛树搜索（MCTS）后更达到5段水平——与Zen和CrazyStone等顶尖围棋AI相当。

ABSTRACT

Competing with top human players in the ancient game of Go has been a long-term goal of artificial intelligence. Go's high branching factor makes traditional search techniques ineffective, even on leading-edge hardware, and Go's evaluation function could change drastically with one stone change. Recent works [Maddison et al. (2015); Clark & Storkey (2015)] show that search is not strictly necessary for machine Go players. A pure pattern-matching approach, based on a Deep Convolutional Neural Network (DCNN) that predicts the next move, can perform as well as Monte Carlo Tree Search (MCTS)-based open source Go engines such as Pachi [Baudis & Gailly (2012)] if its search budget is limited. We extend this idea in our bot named darkforest, which relies on a DCNN designed for long-term predictions. Darkforest substantially improves the win rate for pattern-matching approaches against MCTS-based approaches, even with looser search budgets. Against human players, the newest versions, darkfores2, achieve a stable 3d level on KGS Go Server as a ranked bot, a substantial improvement upon the estimated 4k-5k ranks for DCNN reported in Clark & Storkey (2015) based on games against other machine players. Adding MCTS to darkfores2 creates a much stronger player named darkfmcts3: with 5000 rollouts, it beats Pachi with 10k rollouts in all 250 games; with 75k rollouts it achieves a stable 5d level in KGS server, on par with state-of-the-art Go AIs (e.g., Zen, DolBaram, CrazyStone) except for AlphaGo [Silver et al. (2016)]; with 110k rollouts, it won the 3rd place in January KGS Go Tournament.

研究动机与目标

• 通过超越单步预测的走法预测能力，提升基于深度学习的围棋AI性能。
• 解决纯模式匹配方法在处理关键局部战术决策时的局限性。
• 证明DCNN中的长期预测可显著提升对MCTS基和人类玩家的胜率。
• 将DCNN策略网络与MCTS结合，构建超越独立模型的混合系统。
• 在真实场景中评估模型实力，包括KGS上的段位对局和赛事对弈。

提出的方法

• 训练深度卷积神经网络（DCNN）从当前棋盘状态预测接下来的k步走法（k=3），而非仅下一步。
• 将19×19围棋棋盘表示为多通道输入图像，编码包括棋子颜色、气数以及特殊游戏状态（如打劫、长气）等特征。
• 使用紧凑且任务特定的特征集以提升训练效率与泛化能力，聚焦于长期战略模式。
• 将DCNN策略集成至MCTS框架（darkfmcts3）中，使用top-k预测走法作为动作候选，引导树搜索。
• 在实战中应用动态让子和思考机制，初始使用top-3预测，随后切换至top-5以增强探索能力。
• 通过在专家人类对局数据上进行监督学习训练DCNN，重点通过多步监督丰富梯度信号。

实验结果

研究问题

• RQ1 与仅预测下一步走法相比，预测多个未来走法是否能提升基于深度学习的围棋AI性能？
• RQ2 DCNN中的长期预测是否能带来更好的泛化能力与更强的游戏表现，尤其在复杂战术局面下？
• RQ3 将DCNN策略与MCTS结合后，对已有的开源及商业围棋引擎的胜率有何影响？
• RQ4 DCNN基代理是否能在不依赖重型搜索的情况下，实现在KGS等公共服务器上的稳定人类段位（如3段）？
• RQ5 当DCNN代理与MCTS结合时，其在局部战术对攻中的剩余弱点是什么？

主要发现

• 无搜索的DCNN代理Darkfores2在KGS围棋服务器上达到稳定的3段水平，显著优于此前估计为4k–5k水平的DCNN基代理。
• 在5000步模拟下，混合模型darkfmcts3在250盘对局中100%战胜使用10,000步模拟的Pachi，展现出巨大的性能提升。
• 在75,000步模拟下，darkfmcts3在KGS上达到稳定的5段水平，与Zen、DolBaram和CrazyStone等顶尖围棋AI实力相当。
• 使用110,000步模拟和64块GPU的版本在2016年1月的KGS围棋锦标赛中获得第3名，仅因时间管理错误失利。
• 对Pachi的胜率从纯DCNN的11.0%提升至使用100,000步模拟时的72.6%，竞争实力提升约6倍。
• 即使仅使用1,000步模拟，DCNN+MCTS系统在胜率上也比纯DCNN基线高出19%以上，表明其具有极强的样本效率。