[論文レビュー] Winning Isn't Everything: Enhancing Game Development with Intelligent Agents

Yunqi Zhao, Igor Borovikov+15 more|arXiv (Cornell University)|Mar 25, 2019

Reinforcement Learning in Robotics参考文献 65被引用数 10

ひとこと要約

本稿では、ゲームをクリアすることを目的としないで、人間らしいプレイテストやゲームプレイ行動をシミュレートすることでゲーム開発を支援する知能あるエージェントの訓練を提案する。A*計画から深層強化学習に至る多様な技術を用いてスキルとスタイルのバランスを図ることで、著者らは、最先端の強化学習モデルが、ベンチマーク環境から実際のゲーム開発文脈へ効果的に転送されるには、膨大なハイパーパrameterチューニングを要することを示している。

ABSTRACT

Recently, there have been several high-profile achievements of agents learning to play games against humans and beat them. In this paper, we study the problem of training intelligent agents in service of game development. Unlike the agents built to "beat the game", our agents aim to produce human-like behavior to help with game evaluation and balancing. We discuss two fundamental metrics based on which we measure the human-likeness of agents, namely skill and style, which are multi-faceted concepts with practical implications outlined in this paper. We report four case studies in which the style and skill requirements inform the choice of algorithms and metrics used to train agents; ranging from A* search to state-of-the-art deep reinforcement learning. We, further, show that the learning potential of state-of-the-art deep RL models does not seamlessly transfer from the benchmark environments to target ones without heavily tuning their hyperparameters, leading to linear scaling of the engineering efforts and computational cost with the number of target domains.

研究の動機と目的

• 勝利を最適化することに特化するのではなく、人間らしいプレイヤー行動をシミュレートすることでゲームデザインを支援する知能あるエージェントの開発を目的とする。
• 自動プレイテストやNPC設計に使用可能な、現実的なプレイヤーのスキルとスタイルを反映するエージェントの構築という課題に対処すること。
• ルールベースの計画から深層強化学習に至るさまざまなアルゴリズムが、特定のゲームデザイン要件に基づいてどのように選択されるかを調査すること。
• 最先端の深層強化学習モデルが、ベンチマーク環境（例：Atari）から実世界のゲーム開発環境へ、広範なハイパーパrameterチューニングなしで効果的に転送可能かどうかを評価すること。
• 特定のデザイン文脈において、単純なモデル（例：A*）が複雑な強化学習を上回る可能性を特定することで、工学的および計算コストを削減すること。

提案手法

• スキルをタスクの効率性、スタイルをゲームプレイにおける統計的行動パターンとして定義し、エージェントの人間らしさを評価する二重指標として用いる。
• The Sims MobileでA*探索を適用し、学習を避け、軽量で高精度なプレイテストが可能な、高速で最小限の行動による進行をモデル化する。
• 報酬の遅延があるモバイルゲームにおいて、モデルフリーの深層強化学習（PPO、Rainbow）を用い、プレイヤーの進行パターンに基づいてデザイナーの意思決定を評価する。
• 人間のデモからゲームプレイスタイルを捉えるために、マルコフモデルのマルチスケールアンサンブルを実装し、その後、人間によるフィードバックとハイパーパrameterチューニングを経て、高速な推論を可能にする小型DNNに蒸留する。
• チームスポーツゲームにおいて、仲間のスタイルが影響を与える複雑なエメrgェント行動を伴う環境で、深層強化学習エージェントを訓練し、報酬設計とハイパーパrameterチューニングに細心の注意を払う。
• 異なるアルゴリズムと観測空間の下でのエージェント性能を比較するアブレーションスタディを実施し、ドメイン固有のチューニングの必要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、単に勝率を最大化するのではなく、ゲーム開発において人間らしい行動をシミュレートする知能あるエージェントを設計できるか？
• RQ2 スキルとスタイルを定量的にモデル化し、バランスさせることで、ゲームデザインタスクを支援できるAIエージェントを構築できるか、その程度はどの程度か？
• RQ3 A*のような軽量な計画アルゴリズムは、単純で明確に定義された目的を持つゲームにおいて、深層強化学習を上回る性能を示せるか？
• RQ4 観測空間の設計と報酬設計は、報酬の遅延があるゲームにおける深層強化学習エージェントの性能にどのように影響するか？
• RQ5 最先端の深層強化学習モデル（例：PPO、Rainbow）は、ベンチマーク環境から実際のゲーム開発分野へ、広範なハイパーパrameterチューニングなしで効果的に転送可能か、その程度はどの程度か？

主な発見

• The Sims Mobileでは、A*探索が深層強化学習を上回った。ゲームの進行が単純かつ明確に構造化されているため、学習を伴わない手法が、目的が明確で最小限の行動で済む状況ではより効果的であることを示した。
• 報酬の遅延があるモバイルゲームでは、観測空間の選択が深層強化学習エージェントの有効性に顕著な影響を与え、最適でない空間選択は、ポリシー学習の劣化を招いた。
• マルチスケールのマルコフモデルアンサンブルは、ゲームプレイスタイルを効果的に捉えたが、未探索状態での一般化性能が低く、基本的なルールと人間によるフィードバックの追加でこれを是正できた。
• アンサンブルモデルを教師ありDNNに蒸留することで、推論速度と一般化性能が向上し、スタイル転送におけるハイブリッドモデリングの価値を示した。
• チームスポーツゲームにおけるPPOエージェントは、報酬設計を慎重にしないとポリシー最適化の局所的最小値に陥り、直接的なポリシー学習では最適でない行動が生じることを示した。
• 最先端の深層強化学習モデル（例：PPO、Rainbow）は、ベンチマーク環境からターゲットゲームへ、スムーズに一般化できず、各新規ドメインごとに工学的作業量が線形に増加するほど、広範なハイパーパrameterチューニングを要した。