[論文レビュー] Building a Computer Mahjong Player via Deep Convolutional Neural Networks

Shiqi Gao, Fuminori Okuya+2 more|arXiv (Cornell University)|Jun 5, 2019

Artificial Intelligence in Games参考文献 5被引用数 5

ひとこと要約

本稿では、不完全情報の多い麻雀のゲーム状態を表現する3次元畳み込みニューラルネットワーク（CNN）モデルを提案する。このモデルにより、牌の捨て牌の予測が高精度で可能となる。ゲーム記録を用いて学習させた結果、人間のプレイと70.44％の一致率を達成し、先行する最先端手法（62.1％）を顕著に上回り、ルールベースの知識を一切持たないAIエージェントがTenhouプラットフォームで1850レートを達成する。これは中級の人間プレイヤーを上回る性能を示している。

ABSTRACT

The evaluation function for imperfect information games is always hard to define but owns a significant impact on the playing strength of a program. Deep learning has made great achievements these years, and already exceeded the top human players' level even in the game of Go. In this paper, we introduce a new data model to represent the available imperfect information on the game table, and construct a well-designed convolutional neural network for game record training. We choose the accuracy of tile discarding which is also called as the agreement rate as the benchmark for this study. Our accuracy on test data reaches 70.44%, while the state-of-art baseline is 62.1% reported by Mizukami and Tsuruoka (2015), and is significantly higher than previous trials using deep learning, which shows the promising potential of our new model. For the AI program building, besides the tile discarding strategy, we adopt similar predicting strategies for other actions such as stealing (pon, chi, and kan) and riichi. With the simple combination of these several predicting networks and without any knowledge about the concrete rules of the game, a strength evaluation is made for the resulting program on the largest Japanese Mahjong site `Tenhou'. The program has achieved a rating of around 1850, which is significantly higher than that of an average human player and of programs among past studies.

研究の動機と目的

• 日本麻雀における不完全情報の特徴を深層学習に適したデータモデルとして効果的に捉えること。
• 歴史的ゲーム記録を用いて学習した3次元CNNアーキテクチャにより、牌の捨て行動の予測精度を向上させること。
• 複数の訓練済みネットワークを統合して行動予測を行うことで、ルールを含まないAIシステムの実力評価を行うこと。
• 深層学習が、合法手制約やドラ表示のような複雑なゲーム要因を自動で学習できるかどうかを検討すること。

提案手法

• 2次元畳み込み層に適した空間的フォーマットとして、手牌、捨て牌履歴、ドラ表示、テーブル状態を統合した新しい3次元テンソルデータ構造を設計した。
• 牌の捨て行動を34クラス分類問題として扱い、入力特徴にはプレイヤーの手牌、捨て牌履歴、ドラ表示を含めた。
• 複数の畳み込み層およびバッチ正則化層を備えた3次元CNNアーキテクチャを採用し、情報損失を避けるためプーリング層を排除した。
• 人間の意思決定と最大限一致するように、プロのゲーム記録（haifu）から抽出した50,000件のテストケースを用いて、エンドツーエンドで学習した。
• ルールの明示的記述なしに、捨て牌、ポン、チリ、カン、リーチ行動のそれぞれを別々のニューラルネットワークで処理し、それらを統合してAIエージェントを構築した。
• Tenhouプラットフォーム上でオンライン対戦を実施し、300試合の対戦後に得られたレートを測定することで、実力評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 ルールの明示的記述なしに、ゲーム記録データのみを用いて深層CNNモデルが最適な牌の捨て行動を学習できるか？
• RQ2 2次元または1次元表現と比較して、3次元表現は麻雀ゲーム状態の複雑さをどの程度効果的に捉えられるか？
• RQ3 深層ニューラルネットワークが、合法手制約やドラ表示のような複雑なゲーム要因をどの程度自動で学習できるか？
• RQ4 この構造的で低次元のゲーム状態表現において、プーリング層を排除することで性能が向上するか？
• RQ5 独立して訓練された複数のネットワークの単純なアンサンブルは、ルールを含まない強力なAIプレイヤーを生成できるか？

主な発見

• 提案された3次元CNNモデルは、テストデータにおいて人間の捨て牌と70.44％の一致率を達成し、先行する最先端手法（62.1％）を顕著に上回った。
• モデルは100％の予測が手牌の14枚の牌に限定されており、合法手の制約が暗黙的に学習されていることが示された。
• プーリング層の導入は性能を低下させた。これは、コンパクトな3次元表現における微細な空間的構造の損失が原因と考えられる。
• 直接的なエンコードなしに、ドラ表示からドラ牌を正しく推定しており、これにより精度が約1％向上した。
• 単純なネットワークの組み合わせから構築されたAIエージェントは、Tenhouで1850レートを達成し、平均の中級プレイヤー（約1600）を上回った。
• GRUベースの逐次モデルも検証されたが、静的3次元CNNに比べて結果が悪く、この設定では時間的モデリングよりも空間的特徴学習の方が効果的であることが示された。