[论文解读] Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks.

Xingyu Sha, Jiaqi Zhang+3 more|arXiv (Cornell University)|Mar 1, 2020

Reinforcement Learning in Robotics参考文献 46被引用 8

一句话总结

本文提出了一种用于在有向对等网络上进行策略评估的完全异步分布式强化学习算法，采用一种新颖的基于SAG的方法，并结合推送-拉取增强图结构，实现了与任意节点更新无关的精确线性收敛速率𝒪(c^k)。该方法通过使用延迟的邻居信息实现本地、即时的值函数更新，实现了线性加速，并对慢速节点具有鲁棒性。

ABSTRACT

This paper proposes a \emph{fully asynchronous} scheme for the policy evaluation problem of distributed reinforcement learning (DisRL) over directed peer-to-peer networks. Without waiting for any other node of the network, each node can locally update its value function at any time by using (possibly delayed) information from its neighbors. This is in sharp contrast to the gossip-based scheme where a pair of nodes concurrently update. Though the fully asynchronous setting involves a difficult multi-timescale decision problem, we design a novel stochastic average gradient (SAG) based distributed algorithm and develop a push-pull augmented graph approach to prove its exact convergence at a linear rate of $\mathcal{O}(c^k)$ where $c\in(0,1)$ and $k$ increases by one no matter on which node updates. Finally, numerical experiments validate that our method speeds up linearly with respect to the number of nodes, and is robust to straggler nodes.

研究动机与目标

• 解决在具有不可靠或延迟通信的有向对等网络上进行分布式强化学习时的策略评估挑战。
• 使每个节点能够独立且异步地更新其值函数，无需协调或同步。
• 克服完全异步设置下多时间尺度动态行为的固有困难，以确保精确收敛。
• 无论更新顺序或节点选择如何，均实现与更新顺序无关的线性收敛速率。
• 在实际分布式环境中展示算法的可扩展性及对慢速节点的鲁棒性。

提出的方法

• 设计一种专为异步策略评估而定制的新型基于随机平均梯度（SAG）的分布式算法。
• 引入推送-拉取增强图框架，以建模和分析有向网络中的信息流。
• 解耦更新过程，使每个节点能够使用延迟的邻居数据本地更新其值函数。
• 通过构建考虑异步更新和延迟梯度的李雅普诺夫函数来确保收敛。
• 利用推送-拉取机制在有向图中保持信息传播的平衡。
• 证明在𝑐 ∈ (0,1)下，收敛速率为𝒪(c^k)，且与更新序列或节点身份无关。

实验结果

研究问题

• RQ1 在无同步机制的有向对等网络中，完全异步的分布式策略评估算法能否实现精确收敛？
• RQ2 如何有效整合延迟且异步的邻居信息到值函数更新中，同时确保收敛？
• RQ3 此类异步方案的收敛速率是多少？其是否与更新顺序无关而保持线性？
• RQ4 该方法在节点数量增加时的可扩展性如何？
• RQ5 该算法对更新缓慢或不规则的慢速节点具有多大程度的鲁棒性？

主要发现

• 所提出的算法在任意节点更新或更新顺序下，均实现了与𝑐 ∈ (0,1)相关的精确线性收敛速率𝒪(c^k)。
• 收敛速率与更新序列无关，确保在异构更新频率下性能一致。
• 数值实验表明，该方法在节点数量增加时保持线性扩展，展示了分布式环境下的显著加速性能。
• 该算法对慢速节点保持鲁棒性，在部分节点更新缓慢时仍能维持收敛性和性能。
• 推送-拉取增强图框架成功处理了有向通信拓扑结构，并在异步设置下实现了精确收敛。