[论文解读] Teaching Deep Convolutional Neural Networks to Play Go

Christopher Clark, Amos Storkey|arXiv (Cornell University)|Dec 10, 2014

Artificial Intelligence in Games参考文献 19被引用 13

一句话总结

本文提出通过监督学习训练深度卷积神经网络（DCNNs）来预测专家围棋步法，利用权重重用技术编码旋转和镜像对称性。所得网络在移动预测准确率方面达到最先进水平（44.4%），并展现出强大的对弈能力，仅用极少计算资源即击败GNU Go，并在对弈中战胜Fuego，表明其在无需蒙特卡洛树搜索（MCTS）的情况下有效学习了高层次围棋策略。

ABSTRACT

Mastering the game of Go has remained a long standing challenge to the field of AI. Modern computer Go systems rely on processing millions of possible future positions to play well, but intuitively a stronger and more 'humanlike' way to play the game would be to rely on pattern recognition abilities rather then brute force computation. Following this sentiment, we train deep convolutional neural networks to play Go by training them to predict the moves made by expert Go players. To solve this problem we introduce a number of novel techniques, including a method of tying weights in the network to 'hard code' symmetries that are expect to exist in the target function, and demonstrate in an ablation study they considerably improve performance. Our final networks are able to achieve move prediction accuracies of 41.1% and 44.4% on two different Go datasets, surpassing previous state of the art on this task by significant margins. Additionally, while previous move prediction programs have not yielded strong Go playing programs, we show that the networks trained in this work acquired high levels of skill. Our convolutional neural networks can consistently defeat the well known Go program GNU Go, indicating it is state of the art among programs that do not use Monte Carlo Tree Search. It is also able to win some games against state of the art Go playing program Fuego while using a fraction of the play time. This success at playing Go indicates high level principles of the game were learned.

研究动机与目标

• 开发一种深度学习方法，使神经网络能够以高准确率预测专家围棋步法。
• 通过在神经网络架构中引入权重重用技术，编码围棋棋盘的已知对称性，以提升泛化能力和性能。
• 评估基于专家对局训练的移动预测网络是否也能作为强大的独立围棋玩家。
• 评估DCNN是否能在不依赖蒙特卡洛树搜索或前瞻搜索的情况下，从专家对局中学习高层次围棋策略。
• 探索在低计算资源环境下，使用监督深度学习进行围棋下棋的可行性。

提出的方法

• 在大规模职业围棋对局数据集上训练深度卷积神经网络，以预测下一步移动。
• 实现一种新颖的权重重用技术，强制网络在旋转和镜像对称性上保持一致，从而减少参数量并提升泛化能力。
• 仅以当前棋盘位置作为输入，不包含上一手移动信息，以增强对输入分布偏移的鲁棒性。
• 通过在KGS和GoGoD数据集的保留测试集上评估移动预测准确率来衡量性能。
• 通过将训练好的网络作为独立玩家与GNU Go和Fuego对战来测试其性能，使用弃子模拟机制以避免无限循环。
• 使用对手的计分函数对对局进行评分，并与标准围棋玩家等级（如4-5段）进行比较。

实验结果

研究问题

• RQ1 在专家步法数据上训练的深度卷积神经网络能否在围棋中实现最先进水平的移动预测准确率？
• RQ2 通过权重重用强制编码对称性是否能显著提升移动预测与泛化性能？
• RQ3 通过监督学习训练的移动预测网络是否也能在无前瞻或MCTS的情况下作为强大的独立围棋玩家？
• RQ4 DCNN在仅从专家对局中学习的情况下，能在多大程度上掌握高层次围棋策略？
• RQ5 性能如何随网络规模和数据集质量变化？在对局表现中，较小的网络是否可能因预测准确率较低但仍表现更优而优于更大的网络？

主要发现

• DCNN在KGS和GoGoD数据集上的移动预测准确率分别达到41.1%和44.4%，超越了此前最先进水平。
• 在GoGoD数据集上训练的网络优于在KGS数据集上训练的网络，可能是因为GoGoD数据集中职业对局质量更高。
• 尽管未将上一手移动作为输入，网络仍表现出良好泛化能力，对弈水平相当于4-5段，优于GNU Go（6-8段），并在对弈中战胜Fuego（2-3段）。
• 网络在计算时间仅为一小部分、且无前瞻能力的情况下，持续击败GNU Go，并在部分对局中战胜Fuego。
• 消融实验确认，权重重用显著提升了性能，证明在目标函数中编码对称性至关重要。
• 较小网络虽预测准确率较低，但表现更优，表明避免依赖上一手移动可能有助于提升在真实对局场景中的泛化能力。