[論文レビュー] Procedural Level Generation Improves Generality of Deep Reinforcement Learning

Niels Justesen, Rubén Rodríguez Torrado+4 more|arXiv (Cornell University)|Jun 28, 2018

Reinforcement Learning in Robotics被引用数 17

ひとこと要約

本論文では、ビデオゲームにおける深層強化学習エージェントの一般化性能を向上させるために、訓練中に手続き的レベル生成（PLG）を活用する手法を提案する。多様で動的に生成されたレベルでエージェントを訓練することで、特に適応的難易度スケーリングと組み合わせた場合、未観測のレベルに対しても性能が向上する。また、生成器の分布を分析した結果、人間が設計したレベルとの類似性は生成器の設計に大きく依存することが明らかになった。

ABSTRACT

Deep reinforcement learning (RL) has shown impressive results in a variety of domains, learning directly from high-dimensional sensory streams. However, when neural networks are trained in a fixed environment, such as a single level in a video game, they will usually overfit and fail to generalize to new levels. When RL models overfit, even slight modifications to the environment can result in poor agent performance. This paper explores how procedurally generated levels during training can increase generality. We show that for some games procedural level generation enables generalization to new levels within the same distribution. Additionally, it is possible to achieve better performance with less data by manipulating the difficulty of the levels in response to the performance of the agent. The generality of the learned behaviors is also evaluated on a set of human-designed levels. The results suggest that the ability to generalize to human-designed levels highly depends on the design of the level generators. We apply dimensionality reduction and clustering techniques to visualize the generators' distributions of levels and analyze to what degree they can produce levels similar to those designed by a human.

研究の動機と目的

• 固定されたゲームレベルで訓練された深層強化学習エージェントの過学習を緩和し、新しい環境への一般化能力を制限する要因を解消すること。
• 訓練中に手続き的レベル生成を用いることで、同じ分布に属する未観測のレベルへの一般化性能が向上するかどうかを調査すること。
• 訓練済みエージェントのヒューマンデザイン済みレベルへの転移性能を評価し、生成器設計がこの一般化に果たす役割を理解すること。
• 次元削減とクラスタリングを用いて生成されたレベルの分布を分析し、ヒューマンデザイン済みレベルとの類似性を評価すること。

提案手法

• 固定された静的レベルではなく、手続き的に生成されたレベルで深層強化学習エージェントを訓練することで、耐障害性と一般化性能を向上させること。
• エージェントのパフォーマンスに応じてレベル生成を調整する適応的難易度スケジューリングを実装し、データ効率と学習速度を最適化すること。
• 次元削減（例：オートエンコーダーやt-SNE）を適用して、生成されたレベルの潜在空間を可視化し、多様性とカバレッジを評価すること。
• クラスタリング技術を用いて生成されたレベルの分布を分析し、ヒューマンデザイン済みレベルのクラスタと比較すること。
• 訓練済みエージェントを手続き的に生成されたレベルおよびヒューマンデザイン済みのテストレベルで評価し、ゼロショット一般化性能を測定すること。
• 構造的・機械的複雑性の異なるさまざまな度合いのレベル生成器を設計し、それらが一般化性能に与える影響を評価すること。

実験結果

リサーチクエスチョン

• RQ1 訓練中に手続き的レベル生成を用いることで、同じゲームの分布に属する未観測の新しいレベルへの深層強化学習エージェントの一般化性能が向上するか？
• RQ2 PLGにおける適応的難易度スケジューリングは、データ効率と強化学習エージェントの最終的パフォーマンスにどのように影響するか？
• RQ3 手続き的レベルで訓練されたエージェントがヒューマンデザイン済みレベルにどれほど一般化できるか、またその一般化はレベル生成器の設計にどのように依存するか？
• RQ4 クラスタリングと次元削減を用いて測定した場合、手続き的に生成されたレベルの分布はヒューマンデザイン済みレベルの分布とどの程度類似しているか？

主な発見

• 固定されたレベルで訓練されたエージェントと比較して、手続き的レベル生成で訓練されたエージェントは、同じ分布に属する新しいレベルへの一般化性能が顕著に向上している。
• 訓練中に適応的難易度スケジューリングを適用することで、データ要件が削減され、最終的なパフォーマンスが向上する。これは、最適な挑戦レベルを維持できるからである。
• ヒューマンデザイン済みレベルへの一般化は、レベル生成器の設計に強く依存しており、一部の生成器はヒューマン製コンテンツに近いレベルを生成している。
• 次元削減とクラスタリングの分析から、特定の生成器のみが、ヒューマンデザイン済みレベルと構造的・機械的に類似したレベルの分布を生成していることが明らかになった。
• 本研究では、生成器設計がヒューマン製コンテンツへの知識の転送能力に直接影響することを同定し、一般化の主要なボトル neck であることが示された。