[論文レビュー] Learning to Design Games: Strategic Environments in Reinforcement Learning

Haifeng Zhang, Jun Wang+5 more|arXiv (Cornell University)|Jul 5, 2017

Reinforcement Learning in Robotics参考文献 33被引用数 4

ひとこと要約

本論文は、環境が固定ではなく、エージェントと併せて学習・最適化されるという画期的な強化学習フレームワークを提案する。これにより、戦略的な環境設計が可能になる。二重マルコフ決定過程を定式化し、ポリシー勾配法または生成モデルフレームワークを用いることで、エージェントの弱みを突く、挑戦的で適応的な迷路を生成する。ゲームデザインタスクにおいて、多様なエージェントタイプに対して有効性を示している。

ABSTRACT

In typical reinforcement learning (RL), the environment is assumed given and the goal of the learning is to identify an optimal policy for the agent taking actions through its interactions with the environment. In this paper, we extend this setting by considering the environment is not given, but controllable and learnable through its interaction with the agent at the same time. This extension is motivated by environment design scenarios in the real-world, including game design, shopping space design and traffic signal design. Theoretically, we find a dual Markov decision process (MDP) w.r.t. the environment to that w.r.t. the agent, and derive a policy gradient solution to optimizing the parametrized environment. Furthermore, discontinuous environments are addressed by a proposed general generative framework. Our experiments on a Maze game design task show the effectiveness of the proposed algorithms in generating diverse and challenging Mazes against various agent settings.

研究の動機と目的

• 標準的な強化学習を拡張し、環境を固定ではなく制御可能で学習可能なものとみなす。
• 環境構造が行動に与える影響を踏まえた、ゲームデザイン、ショッピングスペースのレイアウト、交通信号制御といった実世界の応用課題に対応する。
• エージェントと環境の間でミニマックスゲームとして環境設計をモデル化し、環境がエージェントを挑戦的に適応させる。
• 連続的な環境パラメータに対してポリシー勾配法を、離散的環境に対して生成モデルフレームワークをそれぞれ開発する。
• 迷路生成タスクにおいて本手法を評価し、エージェントの行動に適合した多様で戦略的な挑戦的環境を生成できることを示す。

提案手法

• エージェントのMDPを模倣する形で、環境のMDPを二重MDPとして定式化し、エージェントの行動に応じた環境状態遷移をモデル化する。
• パrametricな環境設計を最適化するためのポリシー勾配解法を導出する。その目的は、エージェントの累積報酬を最小化することである。
• 離散的環境に対応するため、勾配制約を回避する一般化された生成モデルフレームワークを提案する。
• エージェントの学習ダイナミクスを報酬信号として用い、強化学習により環境生成器を訓練する。
• ミニマックス設定で環境生成器を訓練する：環境はエージェントのパフォーマンスを低下させることを目的とし、エージェントは報酬を最大化するように学習する。
• 本手法を迷路生成に適用し、多様なエージェント（OPT, DQN, DFS, RHS）を評価対象として採用することで、適応性と戦略的設計の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 強化学習を、環境構造そのものを学習・最適化できるように拡張できるか？（環境が固定であると仮定するのではなく。）
• RQ2 エージェントの弱みを突くことで、特定のエージェント行動を挑戦的にする戦略的環境は、どのように設計できるか？
• RQ3 学習ベースのフレームワークにおいて、離散的または微分不可能な環境設計を効果的に最適化する方法は何か？
• RQ4 環境生成器は、エージェントのポリシーと学習ダイナミクスに基づいて、どのようにその設計を適応させるか？
• RQ5 本手法は、異なるエージェントタイプに対して、多様で非自明で挑戦的な環境をどの程度生成できるか？

主な発見

• 最適（OPT）エージェントと対戦する際、環境生成器は長く細い迷路を効果的に設計し、最適経路探索を困難にするための経路長を最大化する。
• ε-greedy確率的ポリシーを用いるDQNエージェントに対しては、探索を混乱させ、収束を遅らせる多数の分岐を生成する。
• 右利き探索（RHS）エージェントは一貫したターンルールに依存するため、対称性の高い迷路を生成してその性能を妨害する。
• 深さ優先探索（DFS）エージェントに対しては、1つの入り口を持つ大規模な閉じた領域を生成し、全探索を強制し、セルの訪問回数を2倍にする。
• 学習曲線では、OPT、DFS、RHSエージェントは急速に収束するが、DQNエージェントは学習中に性能が向上するため、曲線が複雑になる。
• 本手法はエージェント固有の弱みを効果的に突くことができ、環境設計を共同学習によって自動的かつ適応的に可能にするという点で、有効性を示している。