[论文解读] Fast Multi-Agent Temporal-Difference Learning via Homotopy Stochastic Primal-Dual Optimization

Dong-Sheng Ding, Xiaohan Wei+3 more|arXiv (Cornell University)|Aug 7, 2019

Reinforcement Learning in Robotics参考文献 64被引用 12

一句话总结

本文提出了一种新颖的多智能体强化学习分布式时序差分学习算法，结合了基于同伦的自适应学习率调整与随机对偶优化框架。通过利用因果性在策略采样并考虑马尔可夫性数据，该方法实现了 $O(1/T)$ 的有限时间误差界，优于先前已知的 $O(1/\sqrt{T})$ 速率。

ABSTRACT

We study the policy evaluation problem in multi-agent reinforcement learning where a group of agents, with jointly observed states and private local actions and rewards, collaborate to learn the value function of a given policy via local computation and communication over a connected undirected network. This problem arises in various large-scale multi-agent systems, including power grids, intelligent transportation systems, wireless sensor networks, and multi-agent robotics. When the dimension of state-action space is large, the temporal-difference learning with linear function approximation is widely used. In this paper, we develop a new distributed temporal-difference learning algorithm and quantify its finite-time performance. Our algorithm combines a distributed stochastic primal-dual method with a homotopy-based approach to adaptively adjust the learning rate in order to minimize the mean-square projected Bellman error by taking fresh online samples from a causal on-policy trajectory. We explicitly take into account the Markovian nature of sampling and improve the best-known finite-time error bound from $O(1/\sqrt{T})$ to~$O(1/T)$, where $T$ is the total number of iterations.

研究动机与目标

• 解决大规模多智能体系统中的策略评估问题，其中智能体共享联合状态，但具有私有的动作和奖励。
• 开发一种分布式时序差分学习算法，实现在连通无向网络上的本地计算与通信。
• 在马尔可夫性采样条件下，将分布式TD学习的有限时间收敛速率提升至优于先前 $O(1/\sqrt{T})$ 的界限。
• 通过同伦方法实现自适应学习率调度，利用在线在策略样本最小化均方投影贝尔曼误差。

提出的方法

• 将分布式策略评估问题建模为智能体网络上的随机对偶点问题。
• 提出一种分布式随机对偶算法，通过本地更新联合优化价值函数参数与对偶变量。
• 采用基于同伦的方法，根据不断演化的估计误差与采样动态自适应调整学习率。
• 引入马尔可夫性采样模型，以反映学习过程中在策略轨迹的时序依赖性。
• 采用基于投影的更新规则，在非独立同分布数据下确保稳定性和收敛性。
• 通过权重矩阵 $W$ 利用网络混合特性，对智能体间的通信与平均进行建模。

实验结果

研究问题

• RQ1 在多智能体系统中，分布式TD学习算法能否实现比现有方法更快的有限时间收敛速度？
• RQ2 当采样为马尔可夫性且数据分布时，自适应学习率调度如何改善收敛性？
• RQ3 在分布式、在策略设置下，能否以 $O(1/T)$ 的收敛速率最小化均方投影贝尔曼误差？
• RQ4 网络拓扑与通信结构对分布式TD学习收敛速率有何影响？

主要发现

• 所提算法实现了 $O(1/T)$ 的有限时间误差界，在马尔可夫性采样下优于先前已知的最佳速率 $O(1/\sqrt{T})$。
• 基于同伦的学习率自适应机制能有效降低估计误差，通过动态响应不断演化的优化环境。
• 通过显式建模数据的马尔可夫性，该方法在非独立同分布的在策略采样下仍保持稳定与收敛。
• 理论分析证实，该算法以 $O(1/T)$ 的速率收敛至最优解，与集中式设置下的最佳已知界一致。
• 只要通信矩阵 $W$ 为双随机且网络连通，收敛性对网络拓扑具有鲁棒性。