[論文レビュー] Monte-Carlo Tree Search for Simulation-based Strategy Analysis

Alexander Zook, Brent Harrison+1 more|arXiv (Cornell University)|Aug 4, 2019

Artificial Intelligence in Games参考文献 35被引用数 29

ひとこと要約

本稿では、ターン制ゲームにおける異なるスキルレベルのプレイヤーをシミュレートするために、ロールアウト回数を変化させたモンテカルロ木探索（MCTS）を提案し、4段階の指標レベル（要約、アトム、チェーン、アクション空間）を通じてゲームデザインの自動分析を可能にする。このアプローチは、スクラッチブックでゲームバランスを特定し、カスタムカードゲーム『カードノミコン』におけるカードの相乗効果の欠如といったデザイン上の欠陊を明らかにした。これは、スキルレベルごとの戦略的選択肢の不均衡を特定することで実現された。

ABSTRACT

Games are often designed to shape player behavior in a desired way; however, it can be unclear how design decisions affect the space of behaviors in a game. Designers usually explore this space through human playtesting, which can be time-consuming and of limited effectiveness in exhausting the space of possible behaviors. In this paper, we propose the use of automated planning agents to simulate humans of varying skill levels to generate game playthroughs. Metrics can then be gathered from these playthroughs to evaluate the current game design and identify its potential flaws. We demonstrate this technique in two games: the popular word game Scrabble and a collectible card game of our own design named Cardonomicon. Using these case studies, we show how using simulated agents to model humans of varying skill levels allows us to extract metrics to describe game balance (in the case of Scrabble) and highlight potential design flaws (in the case of Cardonomicon).

研究の動機と目的

• ゲームデザインがプレイヤー行動に与える影響を、スケーラブルで自動化された手法によって、スキルレベルに応じて分析するための課題に対処すること。
• 人間によるプレイテストの限界、すなわち戦略的行動空間を網羅的に探索できないことや、時間がかかるという問題を克服すること。
• MCTSのロールアウト回数を変化させることで、さまざまなスキルレベルのプレイヤーをモデル化するシミュレーションベースのフレームワークを構築し、ゲームデザインの体系的評価を可能にすること。
• シミュレートされたプレイトゥルーにおいてプレイヤー戦略を分析するための、4段階の指標分類（要約、アトム、チェーン、アクション空間）を導入すること。
• 本手法の有効性を、スクラッチブックとカスタムコレクタブルカードゲーム『カードノミコン』という2つの異なるゲームにおいて、バランスとデザイン上の欠陊を検出する事例を通じて示すこと。

提案手法

• ロールアウト回数を変化させたモンテカルロ木探索（MCTS）を用い、高いロールアウト回数がより高いスキルを表すように、ターン制ゲームにおけるさまざまなスキルレベルのプレイヤーをシミュレートする。
• 探索の深さと探索のバランスを調整することで、MCTSエージェントを人間のプレイに類似させる。ロールアウトは認知的処理限界を近似的に表現する。
• 戦略的分析のための4段階の抽象化レベルを定義する：要約（高レベルのゲームプレイ指標）、アトム（個々の行動頻度）、チェーン（行動の順序とコンbo）、アクション空間（時間経過に伴う利用可能な行動）。
• 複数のスキルレベルにおけるMCTSエージェントを用いてシミュレートプレイトゥルーを生成し、ゲーム状態遷移から行動指標を抽出する。
• 2つのゲームに本指標フレームワークを適用する：スクラッチブック（単語ゲーム）とカードノミコン（マジック・ザ・ギャザリングおよびヘッズストーンをインspiredとしたカスタムコレクタブルカードゲーム）。
• プレイトゥルーの統計的分析を用い、戦略的バランスの欠如（例：カードコンボの不足、スキル層ごとの行動分布の偏り）といった不均衡を特定する。

実験結果

リサーチクエスチョン

• RQ1 MCTSをどのように活用すれば、ターン制ゲームにおけるさまざまなスキルレベルのプレイヤーをシミュレートし、戦略的行動を分析できるか？
• RQ2 シミュレートされたプレイトゥルーは、スクラッチブックのようなゲームにおいて、ゲームバランス上の問題をどの程度効果的に明らかにできるか？
• RQ3 提案された指標フレームワークは、『カードノミコン』のようなカスタムコレクタブルカードゲームにおいて、戦略的深さの欠如やカードの相乗効果の欠如といったデザイン上の欠陊を検出できるか？
• RQ4 両方のゲームにおいて、低スキルと高スキルのシミュレートプレイヤーのアクション空間と戦略的選択肢には、どのような違いがあるか？
• RQ5 4段階の指標分類（要約、アトム、チェーン、アクション空間）は、スキルレベルに応じたプレイヤー戦略に関するインサイトを効果的に整理・明らかにできるか？

主な発見

• スクラッチブックでは、シミュレーションベースの分析により、ルールの微小な変更後も、移動頻度やスコアといった指標がスキルレベルにかかわらず安定しており、ゲームバランスが保たれていることが確認された。
• カードノミコンでは、強いエージェントが後半ゲームにおいて著しく多くのプレイや攻撃が可能なことが判明し、カードの保持とマナの効率的使用を通じた戦略的深さが裏付けられた。
• カードノミコンでは、顕著なアクションチェーン（コンボ）が観察されなかったため、カード間の相乗効果が不足しており、戦略的多様性に欠けるデザイン上の欠陊が浮き彫りになった。
• カードノミコンにおける強いエージェントは、平均してより多くの異なるカードをプレイ・攻撃に使用しており、リソースの効率的使用と戦略的計画の優位性が示された。
• アクション空間の分析から、高スキルエージェントは後半に向けた使用を想定したカードを多く保持しており、後半の選択肢を増やし、優れた長期的計画性を示していることがわかった。
• 本手法により、カードノミコンにおける低スキルエージェントが、特に中盤の攻撃選択肢に制限を受けており、カード保持の最適化が不十分であることが特定された。