[論文レビュー] Automatic Playtesting for Game Parameter Tuning via Active Learning

Alexander Zook, Eric Fruchter+1 more|arXiv (Cornell University)|Aug 4, 2019

Artificial Intelligence in Games参考文献 26被引用数 28

ひとこと要約

本論文では、シューティングゲームのコントロールおよび難易度設定におけるゲームパラメータチューニングのための人的プレイテストの自動化とコスト削減を目的として、アクティブラーニング（AL）の使用を提案する。プレイテストをAL問題としてモデル化することで、最適なパラメータ設定を効果的に選択し、人間によるプレイテスト回数を大幅に削減しながら、ランダムサンプリングよりも高い効率で設計目標を達成できる。

ABSTRACT

Game designers use human playtesting to gather feedback about game design elements when iteratively improving a game. Playtesting, however, is expensive: human testers must be recruited, playtest results must be aggregated and interpreted, and changes to game designs must be extrapolated from these results. Can automated methods reduce this expense? We show how active learning techniques can formalize and automate a subset of playtesting goals. Specifically, we focus on the low-level parameter tuning required to balance a game once the mechanics have been chosen. Through a case study on a shoot-`em-up game we demonstrate the efficacy of active learning to reduce the amount of playtesting needed to choose the optimal set of game parameters for two classes of (formal) design objectives. This work opens the potential for additional methods to reduce the human burden of performing playtesting for a variety of relevant design concerns.

研究の動機と目的

• ゲーム開発における人的プレイテストの高コストおよび高作業負荷を軽減するため、パラメータチューニングの自動化を目的とする。
• 低レベルのゲームパラメータチューニングをアクティブラーニング（AL）問題として形式化し、人的テストの反復回数を最小限に抑える。
• 難易度バランスとコントロールの応答性という2つの重要な設計目標を最適化するうえで、ALの有効性を評価する。
• 機械主導のプレイテストが、収束速度および正確性の面でランダムサンプリングを上回ることを示す。
• 幅広いプレイヤーの好みを満たすデフォルトのコントロール設定の選定を自動化する可能性を検討する。

提案手法

• 各パラメータ設定を入力、人的フィードバックを出力とするアクティブラーニング（AL）問題としてゲームパラメータチューニングをモデル化する。
• エントロピー、QBBボルト、誤差低減、分散低減などの獲得関数を用いて、人的テストに最も情報を与えるパラメータセットを選択する。
• 参加者がゲーム設定を比較し、難易度またはコントロール品質について評価するオンライン研究を通じて、人的好みデータを収集する。
• 段階的に選択されたデータをもとに、教師あり分類器（ガウス過程、カーネルSVM、ニューラルネットワーク）を訓練し、最適パラメータを予測する。
• 不確実性が高く、影響が大きい設計空間の領域に注目し、反復的にパラメータ選択を精緻化する。
• F1スコアおよび分類精度を用いて、ALの性能をランダムサンプリングと比較し、学習効率の向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングは、望ましい設計目標を達成するにあたり、人的プレイテストの回数を削減しつつゲームパラメータチューニングを可能にするか？
• RQ2 人的好みフィードバックに基づくゲームパラメータチューニングにおいて、アクティブラーニングのどの獲得関数が最も効果的か？
• RQ3 アクティブラーニングは、難易度およびコントロール関連のゲームパラメータを最適化するうえで、ランダムサンプリングと比べてどのように異なるか？
• RQ4 機械主導のプレイテストは、多様なプレイヤーの好みを満たすデフォルトのコントロール設定の選定をどの程度自動化できるか？
• RQ5 アクティブラーニングは、パラメータチューニングにとどまらず、レベルデザインやバランス調整などの他のゲームデザインタスクにも一般化可能か？

主な発見

• アクティブラーニングは、ランダムサンプリングと比較して、必要なプレイテスト回数を顕著に削減した。特に、最良の獲得関数を用いることで、200サンプル時点でF1スコアが最大12%向上した。
• ガウス過程分類器を用いた場合、QBB（クエリ・バイ・コミッティ）確率獲得関数が200サンプル時点で最高のF1スコア0.792を達成した。
• エントロピーに基づく獲得関数は、すべての分類器タイプにおいてランダムサンプリングを上回り、100サンプル時点でF1スコアが5.9%向上した。
• 誤差低減獲得関数を用いたガウス過程（GP）分類器は、200サンプル時点で最高のF1スコア0.795を達成し、不確実性を考慮した選択の優れた性能を示した。
• すべてのAL手法が一貫してランダムサンプリングを上回り、情報の高いテスト設定の知的な選択が最適パラメータへの収束を早めることを示した。
• 本研究では、アクティブラーニングが、難易度およびコントロールパラメータの両方を効果的に最適化でき、人的フィードバックを用いた分類性能の向上が明確に測定された。