[论文解读] Model-free Learning with Heterogeneous Dynamical Systems: A Federated LQR Approach

Han Wang, Leonardo F. Toso+2 more|arXiv (Cornell University)|Aug 22, 2023

Privacy-Preserving Technologies in DataComputer Science被引用 3

一句话总结

该论文提出FedLQR，一种用于异构线性时不变（LTI）系统的联邦、无模型强化学习算法，使具有不同但相似动态特性的多个智能体能够通过策略梯度方法协作学习一个共同的稳定策略。主要贡献在于理论保证：FedLQR确保所有智能体在迭代过程中保持稳定，并在低异质性环境下实现与智能体数量成比例的样本复杂度降低，从而加速收敛至每个智能体的最优策略。

ABSTRACT

We study a model-free federated linear quadratic regulator (LQR) problem where M agents with unknown, distinct yet similar dynamics collaboratively learn an optimal policy to minimize an average quadratic cost while keeping their data private. To exploit the similarity of the agents' dynamics, we propose to use federated learning (FL) to allow the agents to periodically communicate with a central server to train policies by leveraging a larger dataset from all the agents. With this setup, we seek to understand the following questions: (i) Is the learned common policy stabilizing for all agents? (ii) How close is the learned common policy to each agent's own optimal policy? (iii) Can each agent learn its own optimal policy faster by leveraging data from all agents? To answer these questions, we propose a federated and model-free algorithm named FedLQR. Our analysis overcomes numerous technical challenges, such as heterogeneity in the agents' dynamics, multiple local updates, and stability concerns. We show that FedLQR produces a common policy that, at each iteration, is stabilizing for all agents. We provide bounds on the distance between the common policy and each agent's local optimal policy. Furthermore, we prove that when learning each agent's optimal policy, FedLQR achieves a sample complexity reduction proportional to the number of agents M in a low-heterogeneity regime, compared to the single-agent setting.

研究动机与目标

• 解决无模型强化学习在控制系统中样本复杂度过高的问题。
• 在不共享原始数据的前提下，实现具有不同但相似LTI动态特性的多个智能体之间的协作策略学习。
• 确保所学习的共同策略即使在动力学异质性存在的情况下，也能对所有智能体实现稳定性。
• 量化共同策略与每个智能体个体最优策略之间的性能差距。
• 分析通过联邦协作学习个体最优策略时的样本复杂度降低情况。

提出的方法

• 使用联邦学习在中央服务器聚合来自M个智能体的策略梯度，实现在不共享原始数据情况下的协作训练。
• 采用无模型策略梯度方法，通过轨迹采样并引入平滑技术以降低方差。
• 通过将策略更新限制在一组稳定控制器内，强制实现迭代稳定性，确保每轮迭代中所有智能体均保持稳定。
• 理论分析利用类似李雅普诺夫的论证和集中不等式，以界定向估计误差和异质性影响。
• 通过系统矩阵的扰动对异质性进行建模，并推导出共同策略与每个智能体最优策略之间偏差的上界。
• 在低异质性假设下证明收敛性，并为实现近似最优性能推导出明确的样本复杂度边界。

实验结果

研究问题

• RQ1 通过联邦学习学习到的共同策略是否对具有异质动力学的全部智能体都保持稳定？
• RQ2 在代价函数差距方面，共同策略与每个智能体的个体最优策略有多接近？
• RQ3 每个智能体是否能通过利用联邦中其他智能体的数据，实现更快地收敛至其自身的最优策略？
• RQ4 系统异质性对联邦策略的性能和稳定性有何影响？
• RQ5 当通过联邦协作学习时，个体智能体可实现多大的样本复杂度降低？

主要发现

• FedLQR确保共同策略在每个迭代中对所有智能体都保持稳定，即使在异质动力学下亦然。
• 共同策略与每个智能体最优策略之间的距离由一个随训练轮数呈指数衰减的项所界定。
• 在低异质性环境下，与单智能体训练相比，FedLQR通过联邦协作将每个智能体学习最优策略的样本复杂度降低了与智能体数量M成比例的因子。
• FedLQR的收敛速率由最优协方差矩阵的条件数和控制代价矩阵的最小特征值决定。
• 当轨迹长度、平滑半径和样本大小选择得当以控制估计误差和异质性误差时，该算法能够以高概率实现近似最优性能。
• 理论分析证实，只要异质性有界，联邦学习可安全应用于具有异质系统的无模型LQR。