[论文解读] Massively Parallel Methods for Deep Reinforcement Learning

Arun Sukumaran Nair, P. Srinivasan+12 more|arXiv (Cornell University)|Jul 15, 2015

Reinforcement Learning in Robotics参考文献 17被引用 405

一句话总结

本文提出 Gorila，一种大规模并行深度强化学习架构，通过分布式智能体、学习者、共享神经网络和集中式经验回放，实现了 DQN 的扩展。该方法在 49 个 Atari 2600 游戏上达到最先进性能，相较于单 GPU DQN 在 41 个游戏中表现更优，且训练耗时减少一个数量级，对未见状态的泛化能力也更优。

ABSTRACT

We present the first massively distributed architecture for deep reinforcement learning. This architecture uses four main components: parallel actors that generate new behaviour; parallel learners that are trained from stored experience; a distributed neural network to represent the value function or behaviour policy; and a distributed store of experience. We used our architecture to implement the Deep Q-Network algorithm (DQN). Our distributed algorithm was applied to 49 games from Atari 2600 games from the Arcade Learning Environment, using identical hyperparameters. Our performance surpassed non-distributed DQN in 41 of the 49 games and also reduced the wall-time required to achieve these results by an order of magnitude on most games.

研究动机与目标

• 通过利用大规模并行性，将深度强化学习扩展至单机训练之外。
• 通过并行智能体增加经验的多样性与数量，提升深度 Q-网络的样本效率和泛化能力。
• 在保持或提升 Atari 2600 游戏性能的前提下，减少 DQN 的墙钟训练时间。
• 探究通过分布式训练，DQN 性能是否随计算与内存增加而提升。
• 开发一种通用、可扩展的强化学习框架，适用于高维输入的复杂控制任务。

提出的方法

• 该架构使用 100 个并行智能体，每个智能体与独立的 Atari 环境实例交互，生成多样化经验。
• 经验存储于分布式共享回放缓冲区中，以实现高效采样，并突破单机限制。
• 使用分布式神经网络表示 Q-函数，通过多个学习者异步使用随机梯度下降更新参数。
• 学习者从共享经验缓冲区异步采样，并使用 DQN 算法（结合双 Q-学习和优先经验回放）更新全局 Q-网络参数。
• 系统使用异步随机梯度下降（ASGD）在多台机器上训练 Q-网络，实现高吞吐量与可扩展性。
• 超参数在三个游戏（Breakout、Pong、Seaquest）上进行调优，并在全部 49 个游戏中保持固定，以确保一致性和泛化能力。

实验结果

研究问题

• RQ1 深度强化学习算法（如 DQN）是否能在数据收集与学习过程中有效利用大规模并行性？
• RQ2 将经验回放和神经网络参数分布化，是否能提升复杂控制任务中的样本效率与性能？
• RQ3 与单机 DQN 相比，分布式强化学习系统是否能在未见状态上实现更好的泛化能力？
• RQ4 分布式 DQN 系统相比单 GPU DQN 能快多少？是否能超越其性能？
• RQ5 更高的并行性是否能在多样化的 Atari 2600 游戏中带来性能提升，特别是在人类游戏状态的泛化方面？

主要发现

• 在 49 个 Atari 2600 游戏中，Gorila DQN 在人类起始评估下优于单 GPU DQN 的有 41 个，其中 11 个游戏性能提升达 5 倍。
• 系统在约十分之一的墙钟时间内达到单 GPU DQN 的性能水平，其中 19 个游戏在 6 小时内即被超越。
• 在 25 个游戏中，Gorila DQN 在人类游戏状态起始时达到人类职业玩家得分的 75% 或以上，表明其具有强大的泛化能力。
• 性能随训练时间延长持续提升，表明该分布式设置可实现超越单机限制的持续学习增益。
• 使用 100 个并行智能体显著增加了状态访问的多样性，有助于提升泛化能力和鲁棒性。
• 该框架证明 DQN 性能可随计算与内存增加而有效扩展，验证了可扩展、分布式强化学习流水线设计的有效性。