[論文レビュー] Fully Differentiable Procedural Content Generation through Generative Playing Networks

Philip Bontrager, Julian Togelius|arXiv (Cornell University)|Feb 12, 2020

Artificial Intelligence in Games参考文献 23被引用数 15

ひとこと要約

本論文は、共生的強化学習プロセスを通じてエージェントと手続き的コンテンツ生成器を同時に学習する、完全微分可能なフレームワークである生成的プレイングネットワーク（GPN）を紹介する。生成器は評価者（critic）のフィードバックに基づいてレベルを生成し、エージェントの能力に応じて挑戦の難易度を適応的に変化させる暗黙のカリキュラムを形成する。人為的に設計された例やドメイン知識を一切必要とせず、2Dダンジョンクライマー環境で実証されたエンドツーエンドの学習が可能である。

ABSTRACT

To procedurally create interactive content such as environments or game levels, we need agents that can evaluate the content; but to train such agents, we need content they can train on. Generative Playing Networks is a framework that learns agent policies and generates environments in tandem through a symbiotic process. Policies are learned using an actor-critic reinforcement learning algorithm so as to master the environment, and environments are created by a generator network which tries to provide an appropriate level of challenge for the agent. This is accomplished by the generator learning to make content based on estimates by the critic. Thus, this process provides an implicit curriculum for the agent, creating more complex environments over time. Unlike previous approaches to procedural content generation, Generative Playing Networks is end-to-end differentiable and does not require human-designed examples or domain knowledge. We demonstrate the capability of this framework by training an agent and level generator for a 2D dungeon crawler game.

研究の動機と目的

• 手続き的コンテンツ生成における「鶏とたまごの問題」に対処すること。すなわち、エージェントは学習にコンテンツを必要とし、コンテンツは評価のためにエージェントを必要とする。
• 手続き的コンテンツ生成器の学習において、人為的に設計されたコンテンツやドメイン固有のヒューリスティクスに依存しないこと。
• エージェントのポリシーとコンテンツ生成器を同時に強化学習によって学習する統合的で微分可能なフレームワークの開発。
• エージェントのパフォーマンス推定に基づいてレベル難易度を適応的に変化させることで、暗黙のカリキュラムを生成できるようにすること。

提案手法

• エージェント（アクトロ）はレベルをナビゲートするのを学び、評価者（クリティック）はそのパフォーマンスを評価する、アクトロ・クリティック強化学習の設定を採用する。
• 生成器ネットワークは、クリティックの価値推定値を信号として用い、コンテンツの複雑さを調整する。
• エンドツーエンドで微分可能であり、クリティックの評価から生成器およびエージェントへ勾配が逆伝播可能である。
• 生成器はエージェントの現在のポリシーのパフォーマンスに基づき、挑戦的だが解けるレベルを生成するよう学習する。
• より良いエージェントがより複雑なレベルを生み出し、より良いレベルがエージェントのポリシーを改善するというフィードバックループが形成される。
• 人為的に設計された例や手作業で作られたルールは一切使用せず、エージェントと環境の相互作用ループによる完全な自己教師付き学習である。

実験結果

リサーチクエスチョン

• RQ1 完全に微分可能なフレームワークは、人為的に設計された例が一切ない状態で、エージェントと手続き的コンテンツ生成器を同時に学習できるか？
• RQ2 生成器は、エージェントのパフォーマンスに基づいて暗黙のカリキュラムを形成するコンテンツを学習できるか？
• RQ3 評価者フィードバックは、段階的に難易度が上がっていくが解けるレベルを生成するのにどの程度効果的に機能するか？
• RQ4 エンドツーエンドの微分可能性は、エージェントとコンテンツ生成器の両方の安定的で効果的な学習を可能にするか？
• RQ5 共生的学習プロセスは、従来の教師あり学習やヒューリスティクスに基づく手続き的コンテンツ生成と比べてどのように異なるか？

主な発見

• フレームワークは、人為的に設計されたコンテンツを一切必要とせず、エージェントのポリシーとレベル生成器を完全に微分可能でエンドツーエンドの方法で学習に成功した。
• 生成器はエージェントの現在のパフォーマンスに応じて難易度を適応的に変化させるレベルを生成し、暗黙のカリキュラムを形成した。
• 評価者の価値推定値が、エージェントの進化するスキルレベルに合ったコンテンツを生成するのを効果的にガイドした。
• 勾配ベースの最適化により安定した学習が達成され、手作業によるルールや報酬の形状づけに依存しなかった。
• 2Dダンジョンクライマー環境において、エージェントが段階的に複雑化するレベルを習得できることが示された。