[論文レビュー] Finding Game Levels with the Right Difficulty in a Few Trials through Intelligent Trial-and-Error

Miguel González-Duque, Rasmus Palm+2 more|arXiv (Cornell University)|May 15, 2020

Artificial Intelligence in Games参考文献 40被引用数 26

ひとこと要約

本論文は、ベイズ最適化とMAP-Elitesを用いて、数回の試行で特定の難易度を持つゲームステージを生成・探索するインテリジェントな試行錯誤（IT&E）フレームワークを提案する。多様なステージを進化させ、代理AIエージェントのパフォーマンスデータを事前分布として用いることで、計画エージェントに適した特定の難易度を持つステージを、高い精度でわずか10回未満の反復で特定する。

ABSTRACT

Methods for dynamic difficulty adjustment allow games to be tailored to particular players to maximize their engagement. However, current methods often only modify a limited set of game features such as the difficulty of the opponents, or the availability of resources. Other approaches, such as experience-driven Procedural Content Generation (PCG), can generate complete levels with desired properties such as levels that are neither too hard nor too easy, but require many iterations. This paper presents a method that can generate and search for complete levels with a specific target difficulty in only a few trials. This advance is enabled by through an Intelligent Trial-and-Error algorithm, originally developed to allow robots to adapt quickly. Our algorithm first creates a large variety of different levels that vary across predefined dimensions such as leniency or map coverage. The performance of an AI playing agent on these maps gives a proxy for how difficult the level would be for another AI agent (e.g. one that employs Monte Carlo Tree Search instead of Greedy Tree Search); using this information, a Bayesian Optimization procedure is deployed, updating the difficulty of the prior map to reflect the ability of the agent. The approach can reliably find levels with a specific target difficulty for a variety of planning agents in only a few trials, while maintaining an understanding of their skill landscape.

研究の動機と目的

• 敵の強さやリソースの可用性といった限定的なゲーム要因のみを変更する既存の動的難易度調整（DDA）手法の限界を解消すること。
• 最小限の試行回数で、特定の難易度目標を持つ完全で多様なゲームステージを生成する手法を開発すること。
• 代理AIエージェントのパフォーマンスデータを事前分布としてベイズ最適化フレームワークに統合することで、データ効率的かつ迅速な難易度キャリブレーションを可能にすること。
• 異なるエージェント行動におけるステージ難易度のスキルランドスケープを維持し、何がステージを困難にするかを理解する手がかりを得ること。
• AIエージェントの事前分布が、他のエージェントや人間プレイヤーの難易度を予測するために使用可能かどうかを検討し、教育的・リハビリテーションゲームへの応用可能性を検討すること。

提案手法

• 本手法はMAP-Elitesを用いて、マップカバレッジやレニエンシーといった手作業で設計された特徴に基づき、多様なゲームステージのアーカイブを進化させる。
• 各ステージは、例えばグリーディツリーシンク（Greedy Tree Search）、MCTS、ランダムなど、代理AIエージェントによって評価され、そのパフォーマンス（例：勝率）が難易度の代理指標として記録される。
• 行動マップを入力空間として用い、パフォーマンスデータ上でガウス過程回帰モデルを訓練し、未観測ステージの難易度を予測する。
• IT&Eアルゴリズムは、探索と活用のバランスを取る獲得関数に基づき、次のテスト対象ステージを選択し、各試行後にGPモデルを更新する。
• 新しいパフォーマンスデータを事前分布に統合することで、反復的に探索を精緻化し、目標難易度（例：60％の勝率）を持つステージに収束させる。
• 異なるエージェントのパフォーマンスから得た事前マップを用いて探索をブートストラップ化することで、弱いあるいはランダムな事前分布であっても、高速な収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 インテリジェントな試行錯誤（IT&E）フレームワークは、数回の試行で特定の目標難易度を持つゲームステージを効率的に同定できるか？
• RQ2 1つのAIエージェントのパフォーマンスデータが、他のエージェントの難易度予測にどれほど信頼できる事前分布として機能するか？
• RQ3 本手法は、異なるエージェント行動におけるステージ難易度のスキルランドスケープをどれほど効果的に維持できるか？
• RQ4 事前マップの品質が収束速度に顕著な影響を与えるか？また、ランダムな事前マップでも高速な結果が得られるか？
• RQ5 人間プレイヤーのプレイトレースや人間らしさを持つエージェントを事前分布として用いることで、本アプローチを実際の人間プレイヤーに拡張可能か？

主な発見

• IT&E手法は、さまざまな計画エージェントに対して、10回未満の試行で目標難易度（例：60％の勝率）を持つステージを効果的に同定した。1つのケースでは、わずか3回の更新で最適な難易度に到達した。
• 難易度推定の精度が高く、理想的な難易度（60％の勝率）に近いステージが、ヒートマップ可視化において一貫して選択された。
• ランダムな事前マップ（ベースライン）でさえも良好な性能を示し、性能向上の主因は事前分布の質ではなく、ベイズ更新メカニズムであることが示された。
• 行動マップは明確なスキルプロファイルを明らかにした：ランダムエージェントは敵に苦戦するが、MCTSエージェントは効果的に対処できた。これは、本手法がエージェント固有の適性を捉えていることを示している。
• 獲得関数は探索を促進し、直近のパフォーマンスが最良でないにもかかわらず、直感的ではないが効果的なステージ選択をもたらした。
• 本手法は、異なるエージェントにおける難易度要因の寄与度を理解するための堅実なスキルランドスケープの理解を維持している。