[论文解读] Federated Temporal Difference Learning with Linear Function Approximation under Environmental Heterogeneity

Han Wang, Aritra Mitra+3 more|arXiv (Cornell University)|Feb 4, 2023

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出 FedTD(0)，一种适用于环境异质性场景下的联邦时序差分学习算法，采用线性函数逼近方法进行策略评估，其中各智能体与非相同马尔可夫决策过程（MDP）交互。该工作首次实现了有限时间分析，表明在低异质性环境下，收敛速度随智能体数量线性提升，其理论基础基于对时序差分固定点的扰动界分析，并引入虚拟 MDP 以建立与联邦优化的联系。

ABSTRACT

We initiate the study of federated reinforcement learning under environmental heterogeneity by considering a policy evaluation problem. Our setup involves $N$ agents interacting with environments that share the same state and action space but differ in their reward functions and state transition kernels. Assuming agents can communicate via a central server, we ask: Does exchanging information expedite the process of evaluating a common policy? To answer this question, we provide the first comprehensive finite-time analysis of a federated temporal difference (TD) learning algorithm with linear function approximation, while accounting for Markovian sampling, heterogeneity in the agents' environments, and multiple local updates to save communication. Our analysis crucially relies on several novel ingredients: (i) deriving perturbation bounds on TD fixed points as a function of the heterogeneity in the agents' underlying Markov decision processes (MDPs); (ii) introducing a virtual MDP to closely approximate the dynamics of the federated TD algorithm; and (iii) using the virtual MDP to make explicit connections to federated optimization. Putting these pieces together, we rigorously prove that in a low-heterogeneity regime, exchanging model estimates leads to linear convergence speedups in the number of agents.

研究动机与目标

• 研究在环境异质性条件下的联邦强化学习，其中智能体与具有相同状态空间和动作空间但奖励函数和转移核不同的 MDP 交互。
• 回答通过中心服务器交换模型是否能加速此类异质环境下的策略评估。
• 提供 FedTD(0) 的有限时间收敛性分析，涵盖马尔可夫采样、本地更新和环境异质性的影响。
• 通过新颖的扰动界分析和虚拟 MDP 抽象，建立收敛加速的理论保证。

提出的方法

• 推导了 TD(0) 固定点的扰动界，作为转移核和奖励函数异质性程度的函数。
• 引入虚拟 MDP 以近似联邦 TD(0) 算法的动力学特性，并将其与联邦优化框架关联。
• 使用中心化服务器定期聚合本地模型更新，实现通信高效的联合学习，同时保护数据隐私。
• 采用线性函数逼近进行价值函数估计，并在马尔可夫采样和多次本地更新条件下分析收敛性。
• 应用带递减步长的随机逼近技术，并通过浓度不等式分析误差项。
• 通过将误差分解为近似误差、优化误差和采样误差三部分，建立收敛边界，最终误差界显式依赖于智能体数量和异质性程度。

实验结果

研究问题

• RQ1 在与非相同 MDP 交互的智能体之间交换模型估计，是否能相比独立学习实现更快的策略评估收敛？
• RQ2 在联邦设置中，环境异质性（即不同的转移核和奖励函数）如何影响 TD(0) 的固定点？
• RQ3 在低异质性条件下，具有多个本地更新的联邦 TD(0) 算法是否能实现随智能体数量增加的线性收敛加速？
• RQ4 在马尔可夫采样和通信约束条件下，联邦 TD(0) 的有限时间收敛行为如何？
• RQ5 如何通过虚拟 MDP 分析联邦 TD(0) 的动力学，以连接至联邦优化理论？

主要发现

• 在低异质性环境下，FedTD(0) 实现与智能体数量 N 成比例的线性收敛加速，误差以 O(1/N) 衰减。
• 算法的收敛速率在迭代次数 T 上受 O(1/T²) 边界约束，显式依赖于本地步数 K 和智能体数量 N。
• 主导误差项为 O(1/(ν²NKT))，其中 ν 为条件数参数，表明更多智能体和更多本地更新可降低误差。
• 分析表明，各智能体最优价值函数与全局平均值的偏差被一个随 N 衰减的项所界定。
• 对 TD 固定点的扰动界量化了 MDP 异质性对收敛目标的影响，从而实现对误差传播的理论控制。
• 数值结果在 i.i.d. 和马尔可夫采样设置下均验证了收敛性与误差随 N 增加而降低，支持理论上的加速效果。