[论文解读] Gossip-based Actor-Learner Architectures for Deep Reinforcement Learning

Mahmoud Assran, Joshua Romoff+3 more|arXiv (Cornell University)|Jun 1, 2019

Reinforcement Learning in Robotics被引用 7

一句话总结

GALA 提出了一种基于 gossip 协议的、面向深度强化学习的对等式、演员-学习者架构，通过实现多个智能体之间的可扩展、异步通信，提升了样本效率和硬件利用率。通过减少同步开销，GALA 在单个 GPU 上实现了比 A2C 更高的帧率和更好的性能，同时保持了稳定性并具有相近的功耗。

ABSTRACT

Multi-simulator training has contributed to the recent success of Deep Reinforcement Learning (Deep RL) by stabilizing learning and allowing for higher training throughputs. In this work, we propose Gossip-based Actor-Learner Architectures (GALA) where several actor-learners (such as A2C agents) are organized in a peer-to-peer communication topology, and exchange information through asynchronous gossip in order to take advantage of a large number of distributed simulators. We prove that GALA agents remain within an epsilon-ball of one-another during training when using loosely coupled asynchronous communication. By reducing the amount of synchronization between agents, GALA is more computationally efficient and scalable compared to A2C, its fully-synchronous counterpart. GALA also outperforms A2C, being more robust and sample efficient. We show that we can run several loosely coupled GALA agents in parallel on a single GPU and achieve significantly higher hardware utilization and frame-rates than vanilla A2C at comparable power draws.

研究动机与目标

• 解决 A2C 等完全同步的演员-学习者架构在深度强化学习中面临的可扩展性和计算效率低下问题。
• 通过在多个模拟器环境中实现智能体之间的异步、对等通信，提升训练稳定性和样本效率。
• 通过在单个 GPU 上分布多个松散耦合的智能体，实现更高的硬件利用率和帧率。
• 证明在异步通信下，GALA 智能体在整个训练过程中始终保持在彼此的 epsilon-球内。
• 证明相比 A2C，减少同步可带来更高的鲁棒性和可扩展性。

提出的方法

• 智能体被组织成对等拓扑结构，每个演员-学习者通过 gossip 协议异步通信。
• Gossip 通信允许智能体在不规则的时间间隔交换模型参数和梯度，从而减少同步瓶颈。
• 通过理论分析证明，该架构通过确保所有智能体在整个训练过程中保持在彼此的 epsilon-球内，从而维持稳定性。
• 多个 GALA 智能体被共置于单个 GPU 上，实现高硬件利用率和高帧率。
• 系统采用松散耦合的异步更新机制，避免了 A2C 的严格同步机制。
• 该方法设计用于在多个分布式模拟器之间扩展，同时最小化通信开销。

实验结果

研究问题

• RQ1 在深度强化学习中，演员-学习者之间的异步、基于 gossip 的通信能否维持训练稳定性？
• RQ2 在样本效率和硬件利用率方面，GALA 与 A2C 相比表现如何？
• RQ3 在不引入同步开销的前提下，多个 GALA 智能体在单个 GPU 上能实现多高的共置效率？
• RQ4 尽管存在异步性，gossip 机制是否能确保收敛到最优策略的 epsilon-球内？
• RQ5 在功耗相当的前提下，GALA 是否能在帧率和可扩展性方面超越完全同步的 A2C？

主要发现

• GALA 通过确保所有智能体在整个训练过程中保持在彼此的 epsilon-球内，实现了训练稳定性，即使在异步通信下也成立。
• 与原始 A2C 相比，该架构在单个 GPU 上实现了显著更高的硬件利用率和帧率。
• GALA 在样本效率和鲁棒性方面优于 A2C，展现出在不同环境中的更好学习稳定性。
• 多个松散耦合的 GALA 智能体可并行运行在单个 GPU 上，且功耗与 A2C 相当。
• 通过减少同步需求，系统实现了比 A2C 更高的训练吞吐量和更好的可扩展性。
• gossip 机制实现了智能体间有效的参数共享，而无需集中协调，从而在分布式环境中显著提升了可扩展性。