[论文解读] A Survey of Deep Reinforcement Learning in Video Games

Kun Shao, Zhentao Tang+3 more|arXiv (Cornell University)|Dec 23, 2019

Reinforcement Learning in Robotics参考文献 91被引用 148

一句话总结

本综述回顾深度强化学习（基于价值、策略梯度、基于模型）基础及其在2D/3D游戏中的成就与挑战，总结涵盖Atari、ViZDoom、星际争霸等以及Dota类环境。

ABSTRACT

Deep reinforcement learning (DRL) has made great achievements since proposed. Generally, DRL agents receive high-dimensional inputs at each step, and make actions according to deep-neural-network-based policies. This learning mechanism updates the policy to maximize the return with an end-to-end method. In this paper, we survey the progress of DRL methods, including value-based, policy gradient, and model-based algorithms, and compare their main techniques and properties. Besides, DRL plays an important role in game artificial intelligence (AI). We also take a review of the achievements of DRL in various video games, including classical Arcade games, first-person perspective games and multi-agent real-time strategy games, from 2D to 3D, and from single-agent to multi-agent. A large number of video game AIs with DRL have achieved super-human performance, while there are still some challenges in this domain. Therefore, we also discuss some key points when applying DRL methods to this field, including exploration-exploitation, sample efficiency, generalization and transfer, multi-agent learning, imperfect information, and delayed spare rewards, as well as some research directions.

研究动机与目标

• 说明为何深度强化学习对游戏AI有效及其独特挑战。
• 整理并比较DRL方法（基于价值、策略梯度、基于模型）及其关键算法。
• 评估DRL在不同游戏类型中的成就（2D/3D、单代理/多代理）。
• 讨论实际挑战（探索、样本效率、泛化、迁移、信息不完备）。
• 概述在游戏AI领域应用DRL的未来方向。

提出的方法

• 描述深度学习与强化学习的背景并形式化马尔可夫决策过程记号。
• 概述主要的DRL方法家族及代表性算法（DQN、Rainbow、IQN、SAC、MuZero 等）。
• 介绍关键的架构与算法创新（经验回放、目标网络、 actor-critic、分布式强化学习、规划模型）。
• 讨论用于游戏中DRL的训练平台与评估基准。
• 提供Atari及其他游戏领域的性能趋势和经验结果的对比分析。

实验结果

研究问题

• RQ1 在不同游戏类型与设定下，哪些DRL方法对游戏AI最为高效？
• RQ2 在样本效率、稳定性和泛化方面，基于价值、策略梯度和基于模型的DRL方法在电子游戏中如何比较？
• RQ3 哪些平台、基准测试和实验设置最有利于促进游戏DRL的进展？
• RQ4 将DRL应用于单代理和多代理游戏环境的主要挑战与未来方向是什么？

主要发现

• 在许多2D和3D环境的电子游戏中，DRL方法达到超越人类的表现。
• Atari基准显示显著提升：Rainbow和Ape-X变体远超早期的DQN方法。
• 分布式与多代理扩展（C51、QR-DQN、IQN、Ape-X DQN/DQfD）在Atari平均分和中位数上带来显著提升。
• 基于模型的方法（MuZero、TreeQN）推动了在复杂领域中以规划为基础的DRL改进。
• 第一人称视角和即时策略（RTS）领域还存在诸如部分可观测性和多代理协作等额外挑战，促使在记忆、探索和迁移方面进一步进展。