[论文解读] Building a Computer Mahjong Player via Deep Convolutional Neural Networks

Shiqi Gao, Fuminori Okuya+2 more|arXiv (Cornell University)|Jun 5, 2019

Artificial Intelligence in Games参考文献 5被引用 5

一句话总结

本文提出一种3D卷积神经网络（CNN）模型，用于表示不完整的麻将游戏状态，从而实现对舍牌的准确预测。该模型在游戏记录上进行训练，与人类玩法的吻合率达到70.44%，显著优于先前的最先进方法（62.1%），并使AI智能体在Tenhou平台上达到1850分评级，超越了无规则知识的中等水平人类玩家。

ABSTRACT

The evaluation function for imperfect information games is always hard to define but owns a significant impact on the playing strength of a program. Deep learning has made great achievements these years, and already exceeded the top human players' level even in the game of Go. In this paper, we introduce a new data model to represent the available imperfect information on the game table, and construct a well-designed convolutional neural network for game record training. We choose the accuracy of tile discarding which is also called as the agreement rate as the benchmark for this study. Our accuracy on test data reaches 70.44%, while the state-of-art baseline is 62.1% reported by Mizukami and Tsuruoka (2015), and is significantly higher than previous trials using deep learning, which shows the promising potential of our new model. For the AI program building, besides the tile discarding strategy, we adopt similar predicting strategies for other actions such as stealing (pon, chi, and kan) and riichi. With the simple combination of these several predicting networks and without any knowledge about the concrete rules of the game, a strength evaluation is made for the resulting program on the largest Japanese Mahjong site `Tenhou'. The program has achieved a rating of around 1850, which is significantly higher than that of an average human player and of programs among past studies.

研究动机与目标

• 设计一种数据模型，有效捕捉日本麻将中的不完全信息，以支持深度学习。
• 利用历史游戏记录训练的3D CNN架构，提升舍牌预测的准确性。
• 通过组合多个训练好的网络进行动作预测，评估无规则AI系统的能力。
• 探索深度学习是否能自动学习合法步法约束以及复杂游戏特征（如多拉指示牌）

提出的方法

• 设计了一种新颖的3D张量数据结构，将手牌、弃牌历史、多拉指示牌和桌面状态以适合2D卷积层的空间格式编码。
• 将舍牌视为一个34分类问题，输入特征包括玩家的手牌、弃牌历史和多拉指示牌。
• 采用包含多个卷积层和批量归一化层的3D CNN架构，因信息损失而避免使用池化层。
• 在50,000个专业对局记录（haifu）的测试案例上端到端训练模型，以最大化与人类决策的一致性。
• 通过组合独立训练的神经网络（分别用于舍牌、碰、顺杠、杠、立直动作）构建AI智能体，未显式编码游戏规则。
• 通过在Tenhou平台进行在线对战评估智能体强度，经过300场比赛后测量其等级分。

实验结果

研究问题

• RQ1 仅使用游戏记录数据而无显式规则编码，深度CNN模型能否学会预测麻将中的最优舍牌？
• RQ2 与2D或1D表示相比，3D数据表示在捕捉麻将游戏状态复杂性方面表现如何？
• RQ3 深度神经网络在多大程度上能自动学习合法步法约束以及复杂游戏特征（如多拉指示牌）？
• RQ4 在此类结构化、低维的游戏状态表示中，不使用池化层是否能提升性能？
• RQ5 对不同动作独立训练的简单集成网络能否生成强大且无规则依赖的AI玩家？

主要发现

• 所提出的3D CNN模型在测试数据上与人类舍牌的吻合率达到70.44%，显著优于先前最先进水平的62.1%。
• 模型仅预测合法舍牌——100%的预测结果均在手牌的14张牌范围内，表明其已隐式学习到走法合法性。
• 池化层会降低性能，可能是因为在紧凑的3D表示中损失了细粒度的空间结构。
• 模型在未直接编码多拉指示牌的情况下，仍能正确推断出多拉牌，准确率因此提升约1%。
• 由简单网络组合构建的AI智能体在Tenhou平台上达到1850分，超过中等水平人类玩家的平均分（约1600分）。
• 测试了基于GRU的序列模型，但其表现劣于静态3D CNN，表明在此设置下，时间建模效果不如空间特征学习。