[论文解读] Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms

Thinh T. Doan|arXiv (Cornell University)|Jun 24, 2020

Reinforcement Learning in Robotics参考文献 37被引用 6

一句话总结

该论文为分布式多智能体系统中的局部随机逼近（LSA）提出了一种统一的理论框架，其中智能体从依赖的马尔可夫数据中学习。它在有限时间内实现了与独立同分布（i.i.d.）设置下相近的收敛速率，仅相差一个对数因子，从而在现实依赖数据假设下，为联邦学习和多任务强化学习提供了性能边界。

ABSTRACT

Motivated by broad applications in reinforcement learning and federated learning, we study local stochastic approximation over a network of agents, where their goal is to find the root of an operator composed of the local operators at the agents. Our focus is to characterize the finite-time performance of this method when the data at each agent are generated from Markov processes, and hence they are dependent. In particular, we provide the convergence rates of local stochastic approximation for both constant and time-varying step sizes. Our results show that these rates are within a logarithmic factor of the ones under independent data. We then illustrate the applications of these results to different interesting problems in multi-task reinforcement learning and federated learning.

研究动机与目标

• 分析当智能体从马尔可夫过程中接收数据（而非i.i.d.）时，局部随机逼近（LSA）的有限时间收敛性。
• 在统一的LSA框架下，整合联邦学习与分布式多任务强化学习的理论分析。
• 弥合现有研究中对LSA在依赖数据下的性能理解的空白，因为以往工作主要假设样本为i.i.d.。
• 推导在马尔可夫噪声存在下，恒定与时变步长的显式收敛速率。
• 在标准假设下，提供与i.i.d.数据下可实现边界仅相差对数因子的有限时间性能边界。

提出的方法

• 将分布式学习问题建模为求解复合算子 $ F(\theta^*) = \sum_{i=1}^N F_i(\theta^*) = 0 $ 的根，其中每个 $ F_i $ 是局部随机算子的期望。
• 将每个智能体的数据建模为由遍历马尔可夫过程生成，以捕捉现实应用中（如强化学习和联邦学习）的时间依赖性。
• 采用局部更新机制，即每个智能体在与中心协调者聚合前，使用自身数据执行多次本地步骤。
• 使用时变步长 $ \alpha_k $，并分析迭代序列向真实解收敛的均方误差衰减速率。
• 采用随机逼近理论中的标准假设，包括算子雅可比矩阵的利普希茨连续性、有界性以及负定性。
• 通过李雅普诺夫函数方法与鞅差分分解，推导收敛边界以处理马尔可夫噪声。

实验结果

研究问题

• RQ1 当每个智能体的数据由马尔可夫过程生成时，局部随机逼近的有限时间收敛速率是多少？
• RQ2 LSA在马尔可夫数据下的收敛速率与在i.i.d.数据下的收敛速率相比如何？
• RQ3 局部随机逼近的理论框架能否在联邦学习与多任务强化学习之间实现统一？
• RQ4 在依赖数据条件下，具有线性函数逼近的分布式Q-learning的性能边界是什么？
• RQ5 在何种条件下，局部随机逼近算法的收敛速率可达到与i.i.d.情况相差一个对数因子的水平？

主要发现

• 在马尔可夫数据下，局部随机逼近的有限时间收敛速率与i.i.d.数据下可实现的速率仅相差一个对数因子。
• 对于恒定与时变步长，均方误差的衰减速率均与i.i.d.设置下的理论边界一致，仅相差一个对数因子。
• 该收敛结果适用于联邦学习，其中客户端在模型聚合前执行本地更新，且在现实的数据依赖条件下成立。
• 该框架统一了多任务强化学习算法（如分布式TD(λ)和带线性函数逼近的Q-learning）的分析。
• 为具有线性函数逼近的分布式Q-learning推导了有限时间性能边界，表明其在马尔可夫采样下仍能收敛。
• 在标准假设（有界奖励、满秩特征矩阵、不可约且非周期的马尔可夫链）下，收敛条件得到满足，理论边界适用。