[論文レビュー] Combining Prediction of Human Decisions with ISMCTS in Imperfect Information Games

Moshe Bitan, Sarit Kraus|arXiv (Cornell University)|Sep 27, 2017

Artificial Intelligence in Games参考文献 31被引用数 5

ひとこと要約

本稿では、不完全情報ゲームにおける性能向上を目的として、人間の観察できない行動の予測モデリングと情報集合MCTSを組み合わせた新規なMCTS変種、準決定的でないMCTS（SDMCTS）を提案する。相手の隠れた行動のみを決定化し、他の隠れた状態の不確実性を維持することで、戦略の融合を軽減し、行動予測を活用することで、チーティングゲームにおいて120名の実際の人間プレイヤーと対戦した結果、88.97%の勝率を達成した。予測精度が向上するにつれて性能も向上した。

ABSTRACT

Monte Carlo Tree Search (MCTS) has been extended to many imperfect information games. However, due to the added complexity that uncertainty introduces, these adaptations have not reached the same level of practical success as their perfect information counterparts. In this paper we consider the development of agents that perform well against humans in imperfect information games with partially observable actions. We introduce the Semi-Determinized-MCTS (SDMCTS), a variant of the Information Set MCTS algorithm (ISMCTS). More specifically, SDMCTS generates a predictive model of the unobservable portion of the opponent's actions from historical behavioral data. Next, SDMCTS performs simulations on an instance of the game where the unobservable portion of the opponent's actions are determined. Thereby, it facilitates the use of the predictive model in order to decrease uncertainty. We present an implementation of the SDMCTS applied to the Cheat Game, a well-known card game, with partially observable (and often deceptive) actions. Results from experiments with 120 subjects playing a head-to-head Cheat Game against our SDMCTS agents suggest that SDMCTS performs well against humans, and its performance improves as the predictive model's accuracy increases.

研究の動機と目的

• 部分的に観察可能な行動を伴う不完全情報ゲームにおいて、人間プレイヤーに対して良好な性能を発揮するエージェントの開発を目的とする。
• 観察されない相手の行動に起因する不確実性を処理するISMCTSの限界を解決することを目的とする。
• 人間行動の予測モデルをMCTSに統合することで、戦略の融合を軽減し、意思決定を改善することを目的とする。
• チーティングゲームにおける人間参加者を用いた実世界の環境で、この手法を評価することを目的とする。

提案手法

• SDMCTSは、相手の観察できない行動が予測された決定化されたバージョンのゲーム上でシミュレーションを行う、情報集合MCTSの変種である。
• 歴史的な人間プレイヤーのプレイデータを用いて訓練された行動ベースの予測モデルを用い、特定の行動の発生確率を推定する。
• 予測モデルはMCTSのシミュレーション中に統合され、エージェントが可能な相手の行動を推論しながらも、情報集合の整合性を保つことができる。
• 情報集合ツリーにおける探索と活用のバランスを図るために、選択方針としてSmooth-UCTが用いられる。
• 隠れた情報（例：相手のカード）は維持されるが、相手の行動部分のみを決定化することで不確実性を低減する。
• 観察可能な行動の予測に限定して決定化を行うことで、決定化の利点（より良いシミュレーション品質）とISMCTSの利点（戦略の融合に対するロバストネス）を両立する。

実験結果

リサーチクエスチョン

• RQ1 人間の行動の予測モデリングは、部分的に観察可能な行動を伴う不完全情報ゲームにおけるMCTS性能を向上させることができるか？
• RQ2 予測とISMCTSを組み合わせることで、標準的なISMCTSと比較して、人間相手に対するエージェントの性能は向上するか？
• RQ3 予測モデルの精度を向上させることで、エージェントの勝率とゲーム効率に測定可能な改善が見られるか？
• RQ4 人間プレイヤーは、予測モデルを用いるエージェントと対戦する際に、行動をどのように変化させるか？
• RQ5 SDMCTSフレームワークは、チーティングのような実世界の不完全情報ゲームに効果的に適用可能か？

主な発見

• SDMCTSエージェントは、チーティングゲームにおいて120名の実際の人間プレイヤーと対戦し、88.97%の勝率を達成した。これは、人間プレイヤーに対する優れた性能を示している。
• 予測モデルは、チーティングゲームにおける人間の戦略的意思決定を予測する際、AUCが0.821を達成し、高い精度を示した。
• 予測モデルの精度が向上するにつれて、エージェントの性能も向上し、より高い勝率と、相手プレイヤーとの平均カード差が小さくなった。
• 予測モデルを用いたエージェントは、非予測エージェントと比較して、ゲームのラウンド数を削減した。これは、終端状態への収束が速くなったことを示している。
• 予測エージェントと対戦した人間プレイヤーは、非予測エージェントと対戦した場合の44.8%と比較して、より少ない頻度（40.4–42.4%）でうそをついた。これは行動の適応が生じたことを示唆している。
• FPMGAエージェントは、より高い予測精度を示したが、『チートを疑う』行動の使用が増加したため、試合の終了が遅くなった。これは、予測精度とゲームスピードのトレードオフが存在することを示している。