[论文解读] High-Throughput Synchronous Deep RL

Iou Jen Liu, Raymond A. Yeh+1 more|arXiv (Cornell University)|Dec 17, 2020

Reinforcement Learning in Robotics被引用 8

一句话总结

HTS-RL 提出了一种高吞吐量的同步深度强化学习框架，通过分批同步和异步环境交互，实现了学习与rollout的并行进行，同时消除了过时策略（stale-policy）问题。该方法相比同步基线模型训练速度提升2–6倍，并在样本效率和稳定性方面优于最先进的异步方法（如IMPALA），实现了单台机器上4块GPU的高效训练。

ABSTRACT

Deep reinforcement learning (RL) is computationally demanding and requires processing of many data points. Synchronous methods enjoy training stability while having lower data throughput. In contrast, asynchronous methods achieve high throughput but suffer from stability issues and lower sample efficiency due to `stale policies.' To combine the advantages of both methods we propose High-Throughput Synchronous Deep Reinforcement Learning (HTS-RL). In HTS-RL, we perform learning and rollouts concurrently, devise a system design which avoids `stale policies' and ensure that actors interact with environment replicas in an asynchronous manner while maintaining full determinism. We evaluate our approach on Atari games and the Google Research Football environment. Compared to synchronous baselines, HTS-RL is 2-6$ imes$ faster. Compared to state-of-the-art asynchronous methods, HTS-RL has competitive throughput and consistently achieves higher average episode rewards.

研究动机与目标

• 解决深度强化学习中训练稳定性与吞吐量之间的权衡问题。
• 在保持高数据吞吐量的同时，消除异步方法中常见的过时策略问题。
• 在硬件资源有限的单台机器上实现高效、确定性且可复现的训练。
• 在保持同步方法的样本效率和稳定性的同时，实现类似异步方法的吞吐量扩展能力。
• 在Atari和Google Research Football等复杂环境（使用原始图像输入）中验证方法的适用性。

提出的方法

• HTS-RL 使用独立的演员（actors）和学习者（learners），实现学习与rollout的并发执行，从而将数据收集与参数更新解耦。
• 通过分批同步机制，确保行为策略与目标策略之间保持恒定的一步延迟，避免过时策略问题。
• 演员异步与环境副本交互，减少空闲时间，提升吞吐量。
• 通过在固定时间间隔批量同步参数，系统保持完全的确定性和可复现性。
• 采用“一步延迟梯度”更新规则，保留非延迟更新的收敛特性。
• 该框架与现成算法（如A2C、PPO和ACKTR）兼容，支持即插即用的集成。

实验结果

研究问题

• RQ1 是否可以在不牺牲训练稳定性与样本效率的前提下实现高吞吐量的深度强化学习？
• RQ2 是否可以在保持高吞吐量的同时，消除异步方法中的过时策略问题？
• RQ3 分批同步结合异步环境交互是否能保持收敛性与确定性？
• RQ4 HTS-RL 是否能在仅使用单台机器的条件下，在Atari和Google Research Football等复杂环境中实现优越性能？
• RQ5 在真实环境中，HTS-RL 在不同数量的演员和不同同步间隔下的可扩展性如何？

主要发现

• 在Atari和GFootball环境中，HTS-RL 相比同步A2C和PPO基线模型，训练速度提升2–6倍。
• 在Atari游戏中，HTS-RL 的平均回合奖励比当前最先进的异步方法IMPALA高出3.7倍。
• 在GFootball环境中，HTS-RL 的平均游戏得分比IMPALA高出43%。
• 在GFootball中使用16个演员时，HTS-RL 在所有配置下均保持一致的平均得分0.82，表现出完全的确定性。
• 吞吐量随同步间隔延长而提升，在512步间隔时达到峰值1377步/秒。
• HTS-RL 仅使用4块GPU即成功实现了在GFootball中从原始图像输入进行多智能体训练，这是此类设置下的首次实现。