[论文解读] Learning to Design Games: Strategic Environments in Reinforcement Learning

Haifeng Zhang, Jun Wang+5 more|arXiv (Cornell University)|Jul 5, 2017

Reinforcement Learning in Robotics参考文献 33被引用 4

一句话总结

本文提出了一种新颖的强化学习框架，其中环境并非固定不变，而是与智能体同步学习和优化，从而实现战略性环境设计。通过构建双重马尔可夫决策过程，并采用策略梯度或生成框架，该方法能够生成能够利用智能体弱点的挑战性、自适应迷宫，在游戏设计任务中对多种智能体类型均表现出有效性。

ABSTRACT

In typical reinforcement learning (RL), the environment is assumed given and the goal of the learning is to identify an optimal policy for the agent taking actions through its interactions with the environment. In this paper, we extend this setting by considering the environment is not given, but controllable and learnable through its interaction with the agent at the same time. This extension is motivated by environment design scenarios in the real-world, including game design, shopping space design and traffic signal design. Theoretically, we find a dual Markov decision process (MDP) w.r.t. the environment to that w.r.t. the agent, and derive a policy gradient solution to optimizing the parametrized environment. Furthermore, discontinuous environments are addressed by a proposed general generative framework. Our experiments on a Maze game design task show the effectiveness of the proposed algorithms in generating diverse and challenging Mazes against various agent settings.

研究动机与目标

• 将标准强化学习扩展为将环境视为可控制且可学习的，而非固定不变的。
• 解决现实世界应用中的问题，如游戏设计、购物空间布局和交通信号控制，其中环境结构会影响行为表现。
• 将环境设计建模为智能体与环境之间的极小化-极大化博弈，使环境能够自适应地挑战智能体。
• 开发一种用于连续环境参数的策略梯度方法，以及一种用于离散环境的生成框架。
• 在迷宫生成任务上评估该方法，证明其能够根据智能体行为生成多样化、具有战略挑战性的环境。

提出的方法

• 为环境构建双重MDP，与智能体的MDP相对应，以建模环境状态如何基于智能体动作进行转移。
• 推导出一种策略梯度解法，以优化参数化环境设计，从而最小化智能体的累积奖励。
• 针对离散环境，提出一种通用的生成建模框架，以绕过梯度约束。
• 利用智能体的学习动态作为奖励信号，通过强化学习训练环境生成器。
• 在极小化-极大化设置下训练环境生成器：环境旨在降低智能体性能，而智能体则学习最大化奖励。
• 将该方法应用于迷宫生成，使用多种智能体（OPT、DQN、DFS、RHS）作为评估目标，以检验其适应性和战略设计能力。

实验结果

研究问题

• RQ1 强化学习能否被扩展以学习并优化环境结构本身，而非假设其为固定不变？
• RQ2 如何设计一种战略性环境，通过利用特定智能体行为的弱点来挑战其表现？
• RQ3 在基于学习的框架中，有哪些方法能有效优化离散或不可微的环境设计？
• RQ4 环境生成器如何根据智能体的策略和学习动态调整其设计？
• RQ5 该方法在多大程度上能够为不同类型的智能体生成多样化、非平凡且具有挑战性的环境？

主要发现

• 当与最优（OPT）智能体对战时，环境生成器成功设计出又长又窄的迷宫，以最大化路径长度来挑战最优路径查找能力。
• 对于采用ε-贪婪随机策略的DQN智能体，生成器创建了大量分叉结构，以混淆探索过程并延缓收敛。
• 生成器设计出高度对称的迷宫，以干扰依赖一致转向规则的右手法则搜索（RHS）智能体。
• 对于DFS智能体，生成器创建了具有单一入口的大片封闭区域，迫使进行全遍历搜索，并使单元访问次数翻倍。
• 训练曲线显示，OPT、DFS和RHS智能体的训练快速收敛，而DQN智能体的曲线则较为曲折，因其在训练过程中性能持续提升。
• 该方法有效学习到针对智能体特定弱点的策略，证明通过联合学习可实现自动化且自适应的环境设计。