[論文レビュー] Agent-Based Adaptive Level Generation for Dynamic Difficulty Adjustment in Angry Birds

Matthew Stephenson, Jochen Renz|arXiv (Cornell University)|Feb 7, 2019

Artificial Intelligence in Games参考文献 36被引用数 6

ひとこと要約

本論文では、エージェントのパフォーマンスを指針として、遺伝的アルゴリズムによって動的に難易度を調整するエージェントベースの適応的レベル生成手法を提案する。生成パラメータを、特定の解決率や相対的難易度に一致させるように進化させることで、人間プレイヤーやAIエージェントの両方にとってパーソナライズされ、挑戦的なレベルを生成する。この手法により、強化学習エージェントの訓練および評価の効率が顕著に向上する。

ABSTRACT

This paper presents an adaptive level generation algorithm for the physics-based puzzle game Angry Birds. The proposed algorithm is based on a pre-existing level generator for this game, but where the difficulty of the generated levels can be adjusted based on the player's performance. This allows for the creation of personalised levels tailored specifically to the player's own abilities. The effectiveness of our proposed method is evaluated using several agents with differing strategies and AI techniques. By using these agents as models / representations of real human player's characteristics, we can optimise level properties efficiently over a large number of generations. As a secondary investigation, we also demonstrate that by combining the performance of several agents together it is possible to generate levels that are especially challenging for certain players but not others.

研究の動機と目的

• アングリーバードのAIエージェントの訓練および評価において、限られた数の非パーソナライズされたレベルに起因する課題に対処すること。
• 個々のプレイヤーやエージェントのパフォーマンスに応じて難易度を適応的に調整することで、手続き的レベル生成の有効性を高めること。
• 特定のエージェントにとっては困難でありながら他のエージェントにとっては容易であるようなレベルの生成を可能とし、ベンチマーク評価および訓練効率を向上させること。
• 学習に最適な難易度のレベルに焦点を当てることで、強化学習エージェントの訓練を加速する可能性を、適応的生成の活用を通じて探求すること。

提案手法

• 本手法は、既存のレベル生成器（Iratus Aves）のパラメータを、望ましい難易度プロファイルを持つレベルを生成するように遺伝的アルゴリズムで進化させる。
• エージェントのパフォーマンスに基づいてフィットネス関数を定義する：1つは特定の解決率を達成することを目的とした（Fitness_p）、もう1つは他のエージェントとの相対的難易度を最大化することを目的とした（Fitness_m）。
• 複数のレベルにおけるエージェントのパフォーマンスを、人間プレイヤーの行動を代理として用いることで、異なるスキルレベルや戦略に応じた適応が可能になる。
• 選択、交差、突然変異を用いて、世代を重ねながらレベルパラメータを反復的に進化させ、望ましい難易度指標を最適化する。
• 本手法は、特定エージェント向けのパーソナライズされた難易度（例：50％の解決率）と、比較的難易度（例：エージェントAには難しいがエージェントBには簡単）の両方をサポートする。
• 本手法は、戦略が異なる多様なAIエージェントを用いて評価され、人間プレイヤーの多様性を模倣する。

実験結果

リサーチクエスチョン

• RQ1 エージェントのパフォーマンスは、アングリーバードにおける適応的レベル生成を指針とする人間プレイヤーのスキルを信頼性高く代理できるか？
• RQ2 遺伝的アルゴリズムが、特定エージェントの目標解決率を達成するために、レベル生成パラメータをどの程度最適化できるか？
• RQ3 特定エージェントにとっては非常に困難で、他のエージェントにとっては容易なレベルを生成できるか。また、そのようなレベルはエージェントの弱みを特定するのにどの程度有効か？
• RQ4 適応的レベル生成は、ランダムまたは固定されたレベル生成と比較して、強化学習エージェントの訓練効率をどの程度向上させるか？
• RQ5 本手法は、類似したメカニズムを持つ他の物理ベースのパズルゲームにも一般化可能か？

主な発見

• 適応的レベル生成器は、個々のエージェント向けに目標解決率（例：50％）を持つレベルを成功裏に生成し、動的難易度調整の有効性を示した。
• 特定エージェントに対しては他のエージェントと比べて著しく困難なレベルが生成され、エージェント固有の弱みの特定に有効であった。
• Fitness_m関数を用いて生成されたレベルは、エージェント間で顕著なパフォーマンス格差を生じさせ、ベンチマーク評価や比較的評価に最適な水準となった。
• 本手法により、現在はまれにしか解決しないレベルに焦点を当てることで、強化学習エージェントの訓練が効率化され、遅延報酬からの学習信号を最大化できる。
• エージェントの能力に応じて難易度を調整することで、ランダムまたは静的レベル生成よりも情報量の多い訓練が可能となり、本手法は優れた性能を示した。
• 本フレームワークは拡張可能であり、類似したメカニズムを持つ他の物理ベースのパズルゲームにも適用可能であるため、広範な再利用可能性を示唆している。