[论文解读] Finite-Time Performance of Distributed Temporal Difference Learning with Linear Function Approximation

Thinh T. Doan, Siva Theja Maguluri+1 more|arXiv (Cornell University)|Jul 25, 2019

Reinforcement Learning in Robotics被引用 5

一句话总结

本文针对多智能体强化学习中具有线性函数逼近的分布式时序差分学习，提供了有限时间分析，其中智能体通过本地更新与邻居通信协作估计值函数。关键贡献在于推导出一个依赖于网络拓扑、折扣因子、$\lambda$ 和几何混合时间 $\tau$ 的收敛速率上界，揭示了由 $\lambda$ 控制的近似精度与收敛速度之间的权衡。

ABSTRACT

We study the policy evaluation problem in multi-agent reinforcement learning, modeled by a Markov decision process. In this problem, the agents operate in a common environment under a fixed control policy, working together to discover the value (global discounted accumulative reward) associated with each environmental state. Over a series of time steps, the agents act, get rewarded, update their local estimate of the value function, then communicate with their neighbors. The local update at each agent can be interpreted as a distributed variant of the popular temporal difference learning methods {\\sf TD}$ (\\lambda)$. Our main contribution is to provide a finite-analysis on the performance of this distributed {\\sf TD}$(\\lambda)$ algorithm for both constant and time-varying step sizes. The key idea in our analysis is to use the geometric mixing time $\ au$ of the underlying Markov chain, that is, although the "noise" in our algorithm is Markovian, its dependence is very weak at samples spaced out at every $\ au$. We provide an explicit upper bound on the convergence rate of the proposed method as a function of the network topology, the discount factor, the constant $\\lambda$, and the mixing time $\ au$. Our results also provide a mathematical explanation for observations that have appeared previously in the literature about the choice of $\\lambda$. Our upper bound illustrates the trade-off between approximation accuracy and convergence speed implicit in the choice of $\\lambda$. When $\\lambda=1$, the solution will correspond to the best possible approximation of the value function, while choosing $\\lambda = 0$ leads to faster convergence when the noise in the algorithm has large variance.

研究动机与目标

• 解决多智能体系统中具有马尔可夫噪声的分布式时序差分学习缺乏有限时间性能保证的问题。
• 分析在具有线性函数逼近下，分布式TD($\lambda$)的收敛行为，尤其关注资格迹参数 $\lambda$ 的影响。
• 推导一个考虑网络拓扑和底层马尔可夫链几何混合时间 $\tau$ 的估计误差的严格有限时间上界。
• 解释为何在实践中 $\lambda=1$ 能够实现最佳近似精度，而 $\lambda=0$ 在高方差噪声下可实现更快收敛的实验观察。
• 将先前针对独立同分布噪声的工作推广至更现实的依赖性马尔可夫噪声情形，适用于分布式多智能体强化学习设置。

提出的方法

• 在具有共享环境和局部奖励的多智能体马尔可夫决策过程框架下，形式化策略评估问题。
• 设计一种分布式TD($\lambda$)变体，其中每个智能体维护值函数的本地估计，并通过本地奖励和与邻居的通信进行更新。
• 引入几何混合时间 $\tau$ 以量化马尔可夫噪声随时间的弱依赖性，从而实现对依赖样本的解耦。
• 采用基于鞅的分析方法，通过混合时间控制噪声相关性，以界定向条件期望下的估计误差。
• 推导出期望平方误差 $\mathbb{E}[\|\bar{\theta}_k - \theta^*\|^2]$ 的有限时间上界，其表达式依赖于 $\tau$、$\gamma$、$\lambda$ 和步长参数。
• 利用递推不等式和矩界控制估计误差的增长，同时考虑近似误差和采样噪声的影响。

实验结果

研究问题

• RQ1 在具有线性函数逼近的分布式TD($\lambda$)中，$\lambda$ 的选择如何影响近似精度与收敛速度之间的权衡？
• RQ2 当算法中的噪声为马尔可夫噪声而非独立同分布噪声时，分布式TD($\lambda$)的有限时间收敛速率如何？
• RQ3 网络拓扑结构和几何混合时间 $\tau$ 如何影响分布式算法的收敛性能？
• RQ4 几何混合时间 $\tau$ 在分析强化学习算法中依赖性噪声时起到何种作用？
• RQ5 能否为分布式TD($\lambda$)推导出一个显式考虑折扣因子 $\gamma$、$\lambda$ 和网络结构的有限时间性能上界？

主要发现

• 所提出的分布式TD($\lambda$)算法实现了有限时间收敛，其收敛速率明确依赖于几何混合时间 $\tau$、折扣因子 $\gamma$ 和资格迹参数 $\lambda$。
• 推导出期望平方误差 $\mathbb{E}[\|\bar{\theta}_k - \theta^*\|^2]$ 的有限时间上界，表明其依赖于 $\tau$、$\alpha_k$、$\gamma$、$\lambda$ 和系统参数。
• 当 $\lambda = 1$ 时，算法收敛至真实值函数的最佳可能近似，最小化近似误差。
• 当 $\lambda = 0$ 时，算法在高方差噪声下收敛更快，验证了关于速度与精度权衡的实验观察。
• 收敛速率上界表明误差以 $\mathcal{O}(\tau \alpha_k)$ 的速率衰减，且上界随 $\frac{(1+\gamma)^2}{(1-\gamma\lambda)^2}$ 变化，凸显了对 $\lambda$ 和 $\gamma$ 的敏感性。
• 该分析严格证明了在分布式多智能体强化学习中，为何 $\lambda=1$ 用于精度、$\lambda=0$ 用于速度的实践经验，为这些设计选择提供了数学基础。