[论文解读] Method for Constructing Artificial Intelligence Player with Abstraction to Markov Decision Processes in Multiplayer Game of Mahjong

Moyuru Kurita, Kunihito Hoki|arXiv (Cornell University)|Apr 16, 2019

Artificial Intelligence in Games参考文献 12被引用 5

一句话总结

该论文提出了一种新颖的方法，通过将游戏抽象为多个马尔可夫决策过程（MDPs），构建多人麻将中的专家级AI玩家，以应对其庞大的游戏树和不完全信息的挑战。该方法利用MDPs估算动作价值，结合专家玩家的行为策略，并应用逆向分析与价值函数推断。该AI取得了世界领先的表现，在3,557场比赛中击败了最强的现有AI Bakuuchi，平均排名优势为0.0574（p = 0.03），具有统计显著性。

ABSTRACT

We propose a method for constructing artificial intelligence (AI) of mahjong, which is a multiplayer imperfect information game. Since the size of the game tree is huge, constructing an expert-level AI player of mahjong is challenging. We define multiple Markov decision processes (MDPs) as abstractions of mahjong to construct effective search trees. We also introduce two methods of inferring state values of the original mahjong using these MDPs. We evaluated the effectiveness of our method using gameplays vis-à-vis the current strongest AI player.

研究动机与目标

• 为解决在具有庞大游戏树和高度不确定性的不完全信息游戏——多人麻将中构建高水平AI玩家的挑战。
• 通过将麻将抽象为多个马尔可夫决策过程（MDPs），以降低麻将AI的计算复杂度，从而建模关键游戏场景。
• 通过利用从这些MDP抽象中推导出的价值函数，改进原始游戏中的动作价值估算。
• 通过与最强现有AI Bakuuchi的对比验证该方法，以证明其在真实对局中的竞争优越性。

提出的方法

• 将麻将抽象为四个不同的MDPs：$\cal{M}_{\text{win}}$、$\cal{M}_{\text{tenpai}}$、$\cal{M}_{\text{fold}}$ 和 $\cal{M}$，每个MDP分别建模特定的终局或决策场景。
• 利用专家对局记录和作者经验，推断代表三位对手的“机会玩家”的动作概率，从而实现对手行为的模拟。
• 应用逆向分析与价值函数推断，利用MDP抽象的结果估算原始游戏中的状态价值。
• 采用贪心策略：选择估计价值最高的动作，根据“听牌数”（0–1 与 2–3）使用不同的公式（16 和 17）。
• 对于听牌数 > 3 的手牌，采用基于规则的策略，重点在于最小化听牌数或选择弃胡，基于 $\cal{M}_{\text{fold}}$ 的价值估算。
• 对方法进行校准，以限制MDP的状态空间，使计算在数秒内完成，同时保持较低的期望最终排名误差。

实验结果

研究问题

• RQ1 多个MDP抽象能否有效建模多人麻将中不完全信息下的复杂决策？
• RQ2 如何利用MDP中的价值函数在不进行穷举搜索的情况下，推断原始游戏中的准确状态价值？
• RQ3 所提出的抽象方法是否能使AI玩家实现超越现有最先进AI玩家的性能？
• RQ4 聚焦于胜局、听牌和弃胡场景的MDP抽象，在高水平麻将对局中在多大程度上提升了决策质量？

主要发现

• 所提出的AI玩家在3,557场比赛中（采用顿判规则）的平均最终排名为2.23 ± 0.04，显著优于Bakuuchi（2.29 ± 0.04）。
• 性能差异具有统计显著性，单尾p值为0.03，表明该AI在97%的置信水平下优于Bakuuchi。
• 该AI赢得了33%的比赛，仅次于Bakuuchi的32%，并在61%的比赛中位列前两名，表现出极强的一致性。
• 该方法通过限制MDP状态空间，有效降低了计算负载，同时保持了较低的期望最终排名误差，实现了每步计算在亚秒级完成。
• 在低听牌数位置，MDP用于价值估算被证明至关重要，因为精确评估对胜负决策至关重要。
• 针对高听牌数手牌（听牌数 > 3）的基于规则的策略有效平衡了风险与向胜局推进的进程，为整体鲁棒性做出了贡献。