[论文解读] A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning

Wesley A. Suttle, Zhuoran Yang+4 more|arXiv (Cornell University)|Mar 15, 2019

Reinforcement Learning in Robotics参考文献 29被引用 7

一句话总结

该论文提出了一种新颖的多智能体离策略演员-critic算法，用于分布式强化学习，其评论更新采用基于一致性机制的强调时差（ETD）方法，演员更新采用一种新的多智能体离策略策略梯度定理并引入强调加权。该方法在线性函数逼近下可实现几乎必然收敛，从而在时变网络中实现高效、去中心化的离策略学习。

ABSTRACT

This paper extends off-policy reinforcement learning to the multi-agent case in which a set of networked agents communicating with their neighbors according to a time-varying graph collaboratively evaluates and improves a target policy while following a distinct behavior policy. To this end, the paper develops a multi-agent version of emphatic temporal difference learning for off-policy policy evaluation, and proves convergence under linear function approximation. The paper then leverages this result, in conjunction with a novel multi-agent off-policy policy gradient theorem and recent work in both multi-agent on-policy and single-agent off-policy actor-critic methods, to develop and give convergence guarantees for a new multi-agent off-policy actor-critic algorithm.

研究动机与目标

• 将离策略强化学习扩展至具有去中心化、网络化智能体且通过时变图通信的多智能体场景。
• 基于基于一致性的ETD(λ)变体，为多智能体系统中的离策略策略评估开发一种理论基础扎实的方法。
• 提出一种使用强调加权校正行为策略偏差的新多智能体离策略策略梯度定理。
• 设计一种完全去中心化的演员-critic算法，实现在分布式多智能体强化学习中高效且可重用数据的学习。
• 证明所提算法在值函数线性函数逼近下的几乎必然收敛性。

提出的方法

• 采用基于一致性的强调时差学习（ETD(λ)）变体进行多智能体值函数估计，实现离策略评论者更新。
• 提出一种新颖的多智能体离策略策略梯度定理，通过强调加权在去中心化方式下校正离策略采样问题。
• 使用重要性采样比率 ρ_t = π(a|s)/μ(a|s) 对过渡样本进行重加权，以在评论者和演员更新中实现离策略校正。
• 采用两级更新结构：内层一致性循环，用于在计算全局 ρ_t 之前聚合邻居间的对数重要性比率。
• 通过引入强调加权的修改版策略梯度实现演员更新，其中 M^θ_t = 1 + λ^θ γ ρ_{t-1} F_{t-1} 以稳定学习过程。
• 对值函数采用线性函数逼近，并使用满足随机逼近条件的步长规则以保证收敛性。

实验结果

研究问题

• RQ1 能否有效将离策略学习扩展至具有去中心化、时变通信网络的多智能体系统？
• RQ2 在分布式多智能体环境中，如何稳定并实现离策略策略评估的收敛？
• RQ3 能够支持去中心化演员更新的多智能体离策略策略梯度定理的正确形式是什么？
• RQ4 是否可实现一种完全去中心化的演员-critic算法，利用离策略经验并在线性函数逼近下实现几乎必然收敛？
• RQ5 强调加权与基于一致性的关键比率聚合如何提升分布式多智能体强化学习中的样本效率与收敛性？

主要发现

• 所提出的多智能体离策略演员-critic算法在值函数线性函数逼近下可几乎必然收敛至最优策略。
• 通过一种新颖的多智能体离策略策略梯度定理（使用强调加权）建立收敛性，该定理可校正离策略数据中的分布偏移。
• 评论者采用基于一致性的ETD(λ)变体，确保即使在离策略转移下也能实现稳定的值函数学习。
• 用于重要性比率的内层一致性循环使每个智能体能够无需全局同步即可计算一致的、网络聚合的 ρ_t 估计。
• 实验结果验证了在线性函数逼近设置下理论收敛保证的有效性，表明学习过程稳定且高效。
• 该方法在样本效率方面优于在线策略基线，并在分布式环境中实现了离策略经验的重用。