[論文レビュー] Winning Isn't Everything: Training Human-Like Agents for Playtesting and Game AI.

Yunqi Zhao, Igor Borovikov+14 more|arXiv (Cornell University)|Mar 25, 2019

Artificial Intelligence in Games参考文献 26被引用数 6

ひとこと要約

本論文では、ゲーム開発者の設計、テスト、最適化を支援する人間らしいゲームエージェントの訓練を提案している。勝利を最優先とするのではなく、プレイヤー体験の向上を目的としたアプローチである。人間の行動をモデル化するフレームワークを用いることで、エージェントはゲームプレイをシミュレートし、バランスの問題を特定し、反復的開発を支援できる。これは、AI駆動のゲームデザイン支援分野における初期段階の進展を示している。

ABSTRACT

Recently, there have been several high-profile achievements of agents learning to play games against humans and beat them. We consider an alternative approach that instead addresses game design for a better player experience by training human-like game agents. Specifically, we study the problem of training game agents in service of the development processes of the game developers that design, build, and operate modern games. We highlight some of the ways in which we think intelligent agents can assist game developers to understand their games, and even to build them. Our early results using the proposed agent framework mark a few steps toward addressing the unique challenges that game developers face.

研究の動機と目的

• 勝利を最優先とするAIエージェントの限界を克服し、ゲーム開発支援を目的とした人間らしい行動をモデル化すること。
• エージェントがプレイヤー体験をシミュレートし、バランスや関与度の問題を特定できるようにすることで、ゲームデザインプロセスを改善すること。
• 知的な、行動駆動のシミュレーションエージェントを通じて、開発者がゲームメカニクスとプレイヤー行動を理解するのを支援すること。
• エージェントベースのプレイテストから得られる実行可能なインサイトを提供するフレームワークを開発し、反復的ゲーム開発を支援すること。

提案手法

• フレームワークは、ゲームの勝利を最適化するのではなく、人間の意思決定パターンを模倣するようにエージェントを訓練する。
• エージェントは、模倣学習と強化学習を用いて訓練され、ミスや好みを含む現実的なプレイヤー行動を反映する。
• 多様なプレイスタイルと好みをモデル化するために、行動クラーニングと逆強化学習を統合する。
• エージェントはゲーム環境にデプロイされ、ゲームプレイをシミュレートし、バランス、進行、関与度に関するフィードバックを生成する。
• エージェントの行動を人間のベンチマークと照合して、本物のプレイヤー行動への忠実度を保証する。
• エージェントからのフィードバックを活用して、難易度の調整や報酬構造の最適化などのゲームデザイン変更をガイドする。

実験結果

リサーチクエスチョン

• RQ1 AIエージェントをどのようにして、ゲームの勝利を最適化するのではなく、人間らしい行動を模倣するように訓練できるか？
• RQ2 人間らしいエージェントは、開発段階でのゲームデザインとバランスをどのように改善できるか？
• RQ3 エージェントベースのシミュレーションは、従来のテストよりもゲームデザイン上の欠陥や関与度の問題をより効果的に特定できるか？
• RQ4 人間らしいエージェントは、バランスや進行の問題を特定する点で、人間のプレイテスト担当者と比べてどう異なるか？
• RQ5 どのような訓練手法が、シミュレートされたエージェントにおける現実的なプレイヤー行動を最もよく保持できるか？

主な発見

• フレームワークは、非最適な意思決定や多様なプレイスタイルを示す人間らしい行動をとるエージェントを成功裏に訓練した。
• エージェントのシミュレーションにより、従来のテストでは検出されなかったゲームメカニクス上のバランスの問題が明らかになった。
• エージェントは進行曲線や報酬構造に関する実行可能なフィードバックを提供し、反復的デザインを支援した。
• 人間らしいエージェントは、従来の勝利中心のエージェントよりも、本物のプレイヤー行動に高い忠実度を示した。
• 初期の結果から、このフレームワークが、一般公開前にデザイン上の問題を特定・解決するのをゲーム開発者に支援できることを示している。