[论文解读] Federated Stochastic Approximation under Markov Noise and Heterogeneity: Applications in Reinforcement Learning

Sajad Khodadadian, Pranay Sharma+2 more|arXiv (Cornell University)|Jun 21, 2022

Privacy-Preserving Technologies in Data被引用 13

一句话总结

该论文提出了用于on-policy TD、off-policy TD和Q-learning的联邦强化学习算法，在马尔可夫噪声和多次本地更新条件下，实现了与智能体数量成线性关系的收敛速度提升。该工作首次在现实的马尔可夫设定下对这些算法进行了收敛性分析，证明了线性加速，并刻画了通信频率的影响。

ABSTRACT

Since reinforcement learning algorithms are notoriously data-intensive, the task of sampling observations from the environment is usually split across multiple agents. However, transferring these observations from the agents to a central location can be prohibitively expensive in terms of communication cost, and it can also compromise the privacy of each agent's local behavior policy. Federated reinforcement learning is a framework in which $N$ agents collaboratively learn a global model, without sharing their individual data and policies. This global model is the unique fixed point of the average of $N$ local operators, corresponding to the $N$ agents. Each agent maintains a local copy of the global model and updates it using locally sampled data. In this paper, we show that by careful collaboration of the agents in solving this joint fixed point problem, we can find the global model $N$ times faster, also known as linear speedup. We first propose a general framework for federated stochastic approximation with Markovian noise and heterogeneity, showing linear speedup in convergence. We then apply this framework to federated reinforcement learning algorithms, examining the convergence of federated on-policy TD, off-policy TD, and $Q$-learning.

研究动机与目标

• 为解决在现实的马尔可夫采样和本地更新条件下，实现联邦强化学习线性收敛加速速度的挑战。
• 分析在非独立同分布的马尔可夫噪声下，采用线性函数近似的联邦TD学习和Q学习。
• 建立同时考虑智能体数量和同步频率K的收敛边界。
• 提供一个统一的理论框架，用于分析在马尔可夫噪声下的联邦随机逼近。
• 解决联邦强化学习中关于通信效率和收敛缩放的开放问题。

提出的方法

• 提出一种基于线性函数近似的联邦on-policy TD学习算法，其中智能体使用on-policy样本更新本地模型，并仅共享模型参数。
• 引入联邦off-policy TD和Q-learning算法，使智能体能够使用与目标策略不同的行为策略，同时保持隐私性。
• 构建一个适用于马尔可夫噪声下的联邦随机逼近的通用框架，支持统一的收敛性分析。
• 采用基于FedSAM算法的新型分析技术，结合加权范数和李雅普诺夫函数，以处理非独立同分布的数据。
• 通过分析通信频率K、步长α和混合时间τ的影响，推导出收敛边界。
• 利用p-范数的范数等价性和光滑性特性，将收敛速率边界表示为状态空间大小|S|、折扣因子γ和最小状态访问概率μ_min的函数。

实验结果

研究问题

• RQ1 在联邦强化学习中使用NewA个智能体，是否能在马尔可夫采样下实现与智能体数量N成倍数关系的线性收敛加速？
• RQ2 同步频率K如何影响联邦Q-learning和TD-learning的收敛速率和最终误差？
• RQ3 在马尔可夫噪声和多次本地更新条件下，能否建立线性加速，而非以往研究中假设的i.i.d.噪声？
• RQ4 通信频率K在联邦强化学习中如何平衡收敛速度与通信成本？
• RQ5 能否构建一个统一的理论框架，用于分析在马尔可夫噪声下多个联邦强化学习算法的收敛性？

主要发现

• 该论文首次证明了在马尔可夫噪声下，联邦TD和Q-learning对智能体数量具有线性收敛加速，此结果此前尚未建立。
• 收敛速率随时间t呈O(1/t)形式，且常数因子随智能体数量线性改善。
• 分析表明，提高同步频率K可提升收敛性能，但仅在一定范围内有效，超过某一K值后收益递减。
• 收敛边界依赖于μ_min(1−γ)，表明混合性差的马尔可夫链会减缓学习过程。
• 通过推论B.1.1推导出样本复杂度，表明样本数量随智能体数量增加而有利增长，且与混合时间成反比。
• 该框架表明，联邦Q-learning和TD-learning是马尔可夫噪声下一般联邦随机逼近算法的特例。