[论文解读] Communication-Efficient Distributed Reinforcement Learning

Tianyi Chen, Kaiqing Zhang+2 more|arXiv (Cornell University)|Dec 7, 2018

Distributed Control Multi-Agent Systems参考文献 42被引用 41

一句话总结

本文提出了一种通信高效的分布式强化学习策略梯度方法，通过自适应跳过策略梯度传输来减少通信开销，同时不牺牲收敛速度或性能。该方法在保持与原始策略梯度相同收敛速率的同时，显著减少了通信轮次，尤其在异构环境中表现突出。

ABSTRACT

This paper deals with distributed reinforcement learning (DRL), which involves a central controller and a group of learners. In particular, two DRL settings encountered in several applications are considered: multi-agent reinforcement learning (RL) and parallel RL, where frequent information exchanges between the learners and the controller are required. For many practical distributed systems, however, such as those involving parallel machines for training deep RL algorithms, and multi-robot systems for learning the optimal coordination strategies, the overhead caused by these frequent communication exchanges is considerable, and becomes the bottleneck of the overall performance. To address this challenge, a novel policy gradient method is developed here to cope with such communication-constrained DRL settings. The proposed approach reduces the communication overhead without degrading learning performance by adaptively skipping the policy gradient communication during iterations. It is established analytically that i) the novel algorithm has convergence rate identical to that of the plain-vanilla policy gradient for DRL; while ii) if the distributed computing units are heterogeneous in terms of their reward functions and initial state distributions, the number of communication rounds needed to achieve a desirable learning accuracy is markedly reduced. Numerical experiments on a popular multi-agent RL benchmark corroborate the significant communication reduction attained by the novel algorithm compared to alternatives.

研究动机与目标

• 解决分布式强化学习（DRL）系统中的高通信开销问题，特别是在多智能体和并行RL设置中。
• 在不降低学习性能的前提下，减少学习者与中央控制器之间的频繁通信。
• 开发一种在通信受限条件下，收敛速率与标准策略梯度算法相当的方法。
• 实现在异构分布式系统中高效学习，其中学习者具有不同的奖励函数和初始状态分布。
• 最小化在实际DRL应用中达到所需学习精度所必需的通信轮次。

提出的方法

• 引入一种自适应通信机制，根据学习进度在某些迭代中跳过策略梯度更新。
• 设计一种策略梯度算法，即使通信频率降低，也能保持收敛保证。
• 制定通信可安全跳过的条件，而不影响收敛速率。
• 利用分布式RL的结构，识别梯度更新冗余或影响低的情况。
• 确保即使跳过通信，理论收敛仍能到达与普通策略梯度相同的解。
• 将该方法应用于多智能体RL和并行RL设置，证明其在多样化分布式架构中的鲁棒性。

实验结果

研究问题

• RQ1 能否在不降低学习性能或收敛速度的前提下，减少分布式RL中的通信开销？
• RQ2 在异构分布式RL系统中，自适应跳过策略梯度通信如何影响收敛性？
• RQ3 通信高效的策略梯度方法在DRL中可提供哪些理论保证？
• RQ4 在保持与标准策略梯度相同学习精度的前提下，通信轮次最多可减少多少？
• RQ5 与现有通信减少技术相比，该方法在真实世界基准测试中的表现如何？

主要发现

• 即使通信频率降低，所提方法仍能实现与原始策略梯度相同的收敛速率。
• 在异构环境中——即学习者具有不同的奖励函数和初始状态分布时——所需通信轮次显著减少。
• 在标准多智能体RL基准上的数值实验表明，与基线方法相比，通信开销大幅降低。
• 该算法在跳过策略梯度更新的同时，仍能保持学习性能，并维持理论收敛保证。
• 自适应跳过机制带来了显著的通信节省，且未损害学习精度或稳定性。