[论文解读] Local Adaptivity in Federated Learning: Convergence and Consistency

Jianyu Wang, Zheng Xu+4 more|arXiv (Cornell University)|Jun 4, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用 21

一句话总结

本文通过在客户端使用自适应优化器（例如 AdaGrad）提出联邦学习中的局部自适应性，加速了收敛速度，但引入了非消失的解偏差。为解决这一不一致问题，作者提出了一种状态重启机制和校正技术，在真实联邦学习任务中，实验结果表明其收敛速度更快、测试准确率高于基线方法。

ABSTRACT

The federated learning (FL) framework trains a machine learning model using decentralized data stored at edge client devices by periodically aggregating locally trained models. Popular optimization algorithms of FL use vanilla (stochastic) gradient descent for both local updates at clients and global updates at the aggregating server. Recently, adaptive optimization methods such as AdaGrad have been studied for server updates. However, the effect of using adaptive optimization methods for local updates at clients is not yet understood. We show in both theory and practice that while local adaptive methods can accelerate convergence, they can cause a non-vanishing solution bias, where the final converged solution may be different from the stationary point of the global objective function. We propose correction techniques to overcome this inconsistency and complement the local adaptive methods for FL. Extensive experiments on realistic federated training tasks show that the proposed algorithms can achieve faster convergence and higher test accuracy than the baselines without local adaptivity.

研究动机与目标

• 研究在联邦学习中使用自适应优化方法（例如 AdaGrad）进行本地客户端更新的影响。
• 识别出直接使用本地自适应优化器会导致非消失的解偏差，使模型收敛点偏离全局目标的驻点。
• 提出一种状态重启机制，以解决通信轮次间优化器状态不连续的问题。
• 开发校正技术，以在保持局部自适应优势的同时恢复与全局目标的一致性。
• 通过实证验证，所提方法在真实联邦训练任务中实现了比基线方法更快的收敛速度和更高的测试准确率。

提出的方法

• 提出状态重启机制：在每轮通信开始时重新初始化客户端优化器状态（例如预条件矩阵、动量缓冲区），以解决有状态优化器的不连续性问题。
• 将 FedOpt 建模为一个固定点问题，涉及算子 $\mathbb{E}[\mathcal{A}]$，其中 $\mathcal{A}$ 的形式取决于客户端优化器，从而支持对收敛性和偏差的理论分析。
• 引入校正技术，通过调整全局更新步长来抵消本地自适应方法引入的偏差，从而保持收敛至正确解。
• 理论分析表明，局部自适应性可改善优化景观的条件性，但可能使固定点偏离全局最小值。
• 采用改进的 FedOpt 框架，其中 ClientOpt 使用自适应方法（如 AdaGrad），ServerOpt 使用标准或自适应更新，且在全局更新步长中应用校正。
• 在真实联邦学习任务中对方法进行实证评估，与仅使用服务器端自适应或 SGD 的基线方法对比收敛速度和测试准确率。

实验结果

研究问题

• RQ1 在联邦学习中，本地自适应优化方法（如 AdaGrad）是否能比标准 SGD 加速收敛？
• RQ2 使用本地自适应优化器是否会引入非消失的解偏差，导致收敛模型与全局目标的驻点不一致？
• RQ3 当使用有状态本地优化器时，如何解决通信轮次间优化器状态的不连续性问题？
• RQ4 校正技术是否能在保留局部自适应优势的同时，恢复与全局目标的一致性？
• RQ5 在真实世界联邦学习场景中，所提方法是否能实现比现有基线方法更快的收敛速度和更高的测试准确率？

主要发现

• 如 AdaGrad 等本地自适应方法通过更好地调节本地优化景观，显著加速了联邦学习的收敛。
• 直接使用本地自适应优化器会引入非消失的解偏差，导致最终模型收敛至与全局目标驻点不一致的点。
• 所提出的状态重启机制能有效解决轮次间优化器状态的不连续性问题，使本地自适应方法的稳定使用成为可能。
• 校正技术成功地在保持局部自适应性带来的快速收敛优势的同时，恢复了与全局目标的一致性。
• 在真实联邦任务上的实验表明，所提方法在收敛速度和测试准确率上均优于仅使用服务器端自适应或原始 SGD 的基线方法。
• 理论分析证实，局部自适应性会改变固定点算子 $\mathbb{E}[\mathcal{A}]$，因此校正对于使解与全局最小值对齐是必要的。