[论文解读] Finite-Sample Analysis of Decentralized Temporal-Difference Learning with Linear Function Approximation

Jun Sun, Gang Wang+3 more|arXiv (Cornell University)|Nov 3, 2019

Reinforcement Learning in Robotics参考文献 30被引用 7

一句话总结

本论文首次对在马尔可夫数据下使用线性函数逼近的去中心化时序差分（TD）学习进行了有限样本分析，采用一种新颖的多步李雅普诺夫函数，证明了其线性收敛至最优值函数的较小邻域。该分析涵盖独立同分布（i.i.d.）与马尔可夫样本，无需额外投影步骤即可解决梯度偏差问题。

ABSTRACT

Motivated by the emerging use of multi-agent reinforcement learning (MARL) in engineering applications such as networked robotics, swarming drones, and sensor networks, we investigate the policy evaluation problem in a fully decentralized setting, using temporal-difference (TD) learning with linear function approximation to handle large state spaces in practice. The goal of a group of agents is to collaboratively learn the value function of a given policy from locally private rewards observed in a shared environment, through exchanging local estimates with neighbors. Despite their simplicity and widespread use, our theoretical understanding of such decentralized TD learning algorithms remains limited. Existing results were obtained based on i.i.d. data samples, or by imposing an `additional' projection step to control the `gradient' bias incurred by the Markovian observations. In this paper, we provide a finite-sample analysis of the fully decentralized TD(0) learning under both i.i.d. as well as Markovian samples, and prove that all local estimates converge linearly to a small neighborhood of the optimum. The resultant error bounds are the first of its type---in the sense that they hold under the most practical assumptions ---which is made possible by means of a novel multi-step Lyapunov analysis.

研究动机与目标

• 解决在现实马尔可夫数据下去中心化TD(0)学习缺乏有限样本收敛保证的问题。
• 克服时间相关数据导致去中心化TD学习中梯度偏差过大的挑战。
• 在不需额外投影步骤控制偏差的前提下，提供在实际假设下成立的收敛界。
• 在独立同分布（i.i.d.）与马尔可夫设置下，建立对最优参数小邻域的线性收敛性。
• 提出一种新颖的多步李雅普诺夫函数，以实现对去中心化TD(0)动态的非渐近分析。

提出的方法

• 提出一种完全去中心化的TD(0)算法，其中各智能体与邻居交换本地参数估计，并使用本地奖励进行更新。
• 引入一种新颖的多步李雅普诺夫函数，用于分析多个时间步长上的误差动态，捕捉参数估计的演化过程。
• 通过两阶段分解法分析马尔可夫环境下的梯度偏差：第一阶段（非平稳）与第二阶段（趋于平稳）。
• 通过矩阵范数与谱性质，对本地估计与最优参数之间期望平方偏差进行有界，推导出有限样本误差界。
• 采用动力系统视角与ODE近似方法，将离散时间更新与连续时间轨迹相联系。
• 通过精心选择的学习率与网络拓扑参数，控制误差项的衰减，从而建立收敛速率。

实验结果

研究问题

• RQ1 我们能否在不依赖i.i.d.假设的前提下，为在马尔可夫数据下的去中心化TD(0)学习建立有限样本收敛性？
• RQ2 时间相关样本引入的梯度偏差如何影响去中心化TD(0)学习的收敛性？
• RQ3 我们能否在不增加投影步骤以控制偏差的前提下，实现对最优解小邻域的线性收敛？
• RQ4 网络拓扑结构与混合时间在去中心化TD(0)线性函数逼近中的收敛速率中起什么作用？
• RQ5 在去中心化设置下，i.i.d.与马尔可夫采样制度下的误差界有何不同？

主要发现

• 所提出的去中心化TD(0)算法在独立同分布（i.i.d.）与马尔可夫数据下，均线性收敛至最优参数的较小邻域。
• 马尔可夫情形下的误差界呈现两阶段结构：第一阶段（非平稳）为常数邻域大小，第二阶段（混合）呈几何衰减，归因于梯度偏差减小。
• 最终邻域大小受界 $\frac{2c_5c_8'}{K_{\mathcal{G}}\lambda_{\rm max}^{\bar{\bm{H}}}}\alpha + \min\{1, c_7^{k-k_\alpha}\}(\alpha^2 c_6 - \frac{2c_5c_8'}{K_{\mathcal{G}}\lambda_{\rm max}^{\bar{\bm{H}}}})$ 控制，该界在马尔可夫链混合后几何收敛至零。
• 收敛速率为线性，误差按 $c_9^k V_0'$ 衰减，其中 $c_9 = \max\{ (\lambda_2^{\bm{W}} + 2\alpha_{\rm max})^2, c_7 \}$，表明指数衰减。
• 该分析首次在马尔可夫观测下为去中心化TD(0)提供了有限样本误差界，且无需额外投影步骤。
• 在包含30个智能体、100个状态与10维参数的网络上进行的仿真验证了平均参数的线性收敛性及智能体间的共识，与理论发现一致。