[論文レビュー] Method for Constructing Artificial Intelligence Player with Abstraction to Markov Decision Processes in Multiplayer Game of Mahjong

Moyuru Kurita, Kunihito Hoki|arXiv (Cornell University)|Apr 16, 2019

Artificial Intelligence in Games参考文献 12被引用数 5

ひとこと要約

本論文は、巨大なゲームツリーと不完全情報を持つマルチプレイヤー麻雀における熟練レベルのAIプレーヤーを構築するための新規手法を提案する。ゲームを複数のマルコフ決定過程（MDP）に抽象化することで、その複雑さを管理する。このアプローチではMDPを用いて行動価値を推定し、熟練プレーヤーの行動戦略を取り入れ、後向き解析と価値関数推定を適用する。AIは世界最高水準の性能を達成し、最も強力な既存AIであるBakuuchiと3,557局対戦した結果、有意に高い平均順位優位性（0.0574、p = 0.03）を示した。

ABSTRACT

We propose a method for constructing artificial intelligence (AI) of mahjong, which is a multiplayer imperfect information game. Since the size of the game tree is huge, constructing an expert-level AI player of mahjong is challenging. We define multiple Markov decision processes (MDPs) as abstractions of mahjong to construct effective search trees. We also introduce two methods of inferring state values of the original mahjong using these MDPs. We evaluated the effectiveness of our method using gameplays vis-à-vis the current strongest AI player.

研究の動機と目的

• マルチプレイヤー麻雀という、巨大なゲームツリーと高い不確実性を有する不完全情報ゲームにおいて、高水準のAIプレーヤーを構築する課題に対処すること。
• ゲームをキーパレイヤーのシナリオをモデル化する複数のマルコフ決定過程（MDP）に抽象化することで、麻雀AIの計算複雑性を低減すること。
• これらのMDP抽象化から得られる価値関数を活用し、元のゲームにおける行動価値推定を改善すること。
• 既存で最も強力なAI、Bakuuchiとの対戦を通じて、実戦での競争優位性を実証すること。

提案手法

• 麻雀を4つの異なるMDPに抽象化：$\cal{M}_{\text{win}}$, $\cal{M}_{\text{tenpai}}$, $\cal{M}_{\text{fold}}$, および $\cal{M}$。それぞれが特定のエンディングや意思決定シナリオをモデル化する。
• 熟練プレーヤーのプレイ記録と著者の経験を用いて、3人の対戦相手を表す確率的プレーヤーの行動確率を推定し、相手の行動をシミュレート可能にする。
• 後向き解析と価値関数推定を適用し、MDP抽象化の結果を基に、元のゲームにおける状態価値を推定する。
• グリーディ戦略を採用：状態価値の推定値が最大となる行動を選択。状況に応じて式(16)と(17)を別々に使用（shanten数が0–1の場合 vs. 2–3の場合）。
• shanten数が3より大きい手については、$\cal{M}_{\text{fold}}$を用いた価値推定に基づき、shantenを最小化するかフォールドするルールベース戦略を適用する。
• MDPの状態空間を制限することで、計算が数秒で完了するように調整し、期待される最終順位誤差を低く保つ。

実験結果

リサーチクエスチョン

• RQ1 複数のMDP抽象化は、不完全情報を持つマルチプレイヤー麻雀における複雑な意思決定を効果的にモデル化できるか？
• RQ2 MDPからの価値関数をどのように活用すれば、全探索を伴わずに元のゲームにおける正確な状態価値を推定できるか？
• RQ3 提案された抽象化手法により、既存の最先端AIプレーヤーを上回る性能を達成できるか？
• RQ4 勝利、テンパイ、フォールドのシナリオに焦点を当てたMDP抽象化は、高水準の麻雀プレイにおける意思決定品質をどの程度向上させるか？

主な発見

• 提案されたAIプレーヤーは、トンプー規則下で3,557局にわたる平均最終順位2.23 ± 0.04を達成し、Bakuuchi（2.29 ± 0.04）を顕著に上回った。
• 性能の差は統計的に有意であり、片側検定のp値が0.03であった。これは、97%の信頼水準で提案AIがBakuuchiを上回っていることを示している。
• AIは33%のゲームで勝利し、Bakuuchiの32%に次ぐ高い勝率を記録。61%のゲームで上位2位以内にランクインし、高い一貫性を示した。
• MDPの状態空間を制限することで計算負荷を著しく低減したが、期待される最終順位誤差は低く保たれ、1手あたり1秒未満の計算時間で実現した。
• 低shanten状態におけるMDPを用いた価値推定は、勝利に直結する意思決定において極めて重要であることが判明した。
• shanten数が3より大きい手に対するルールベース戦略は、リスクと進行度のバランスを適切にとることに成功し、全体的な頑健性に寄与した。