[论文解读] Effective Federated Adaptive Gradient Methods with Non-IID Decentralized Data

Qianqian Tong, Guannan Liang+1 more|arXiv (Cornell University)|Sep 14, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用 14

一句话总结

该论文提出了一类具有校准学习率的联邦自适应梯度方法（AGMs），以解决在非独立同分布（non-IID）和不平衡去中心化数据设置下的性能退化问题。该工作首次在非凸优化设置下建立了对一阶平稳点的理论收敛性，证明了诸如 s-FedAdam 这类校准 AGMs 即使在部分设备参与的情况下，也能实现次线性收敛速率。

ABSTRACT

Federated learning allows loads of edge computing devices to collaboratively learn a global model without data sharing. The analysis with partial device participation under non-IID and unbalanced data reflects more reality. In this work, we propose federated learning versions of adaptive gradient methods - Federated AGMs - which employ both the first-order and second-order momenta, to alleviate generalization performance deterioration caused by dissimilarity of data population among devices. To further improve the test performance, we compare several schemes of calibration for the adaptive learning rate, including the standard Adam calibrated by $ε$, $p$-Adam, and one calibrated by an activation function. Our analysis provides the first set of theoretical results that the proposed (calibrated) Federated AGMs converge to a first-order stationary point under non-IID and unbalanced data settings for nonconvex optimization. We perform extensive experiments to compare these federated learning methods with the state-of-the-art FedAvg, FedMomentum and SCAFFOLD and to assess the different calibration schemes and the advantages of AGMs over the current federated learning methods.

研究动机与目标

• 解决联邦学习中因数据非独立同分布和分布不平衡导致的泛化性能下降问题。
• 在部分设备参与和非独立同分布数据条件下，为联邦自适应梯度方法建立理论基础。
• 比较多种自适应学习率的校准方案，包括 ε、p 和基于激活值的方法。
• 在现实联邦学习约束下，证明同时包含一阶和二阶动量的联邦 AGMs 的收敛性。

提出的方法

• 提出一类具有校准学习率的联邦自适应梯度方法（AGMs），包括 FedAdam 和 FedAMSGrad。
• 采用一种新颖的校准方案，利用软阈值函数（softplus）稳定自适应学习率，称为 s-FedAdam。
• 使用带有内循环次数 K 的本地更新规则，即每个客户端在向服务器发送更新前先进行本地优化。
• 在服务器端采用基于客户端权重 $ p_i $ 的平均规则，确保在非独立同分布和不平衡数据下的收敛性。
• 理论分析基于 L-平滑性、有界梯度以及通过校准动量项控制方差的假设。
• 利用关于梯度范数衰减和方差项的引理推导收敛界，最终得到次线性收敛速率。

实验结果

研究问题

• RQ1 在非独立同分布和不平衡数据分布下，具有校准学习率的联邦自适应梯度方法能否实现收敛？
• RQ2 不同的校准策略（ε、p、softplus）如何影响联邦 AGMs 的收敛性和泛化性能？
• RQ3 在部分设备参与的情况下，同时包含一阶和二阶动量的联邦 AGMs 的理论收敛速率是多少？
• RQ4 在非凸设置下，s-FedAdam 方法相较于 ε-FedAdam 和 p-FedAdam 的收敛速率如何？

主要发现

• 所提出的 s-FedAdam 方法实现了 $ O\left(\sqrt{\frac{\beta(1+1/S)^{3/2}}{T}} + \frac{K\sigma_g^2}{T} + \sqrt{\frac{\beta^3(1+1/S)^{5/2}}{K^2T}} \right) $ 的次线性收敛速率，证明其可收敛至一阶平稳点。
• 理论分析证实，在非独立同分布和不平衡数据条件下，且存在部分设备参与时，校准后的联邦 AGMs 仍能实现收敛。
• 由于软阈值函数提供了更优的校准，s-FedAdam 的收敛速率可能优于 ε-FedAdam 和 p-FedAdam。
• 实验结果表明，联邦 AGMs 在早期训练阶段优于 FedAvg、FedMomentum 和 SCAFFOLD，尤其在高非独立同分布水平下表现更优。
• 收敛速率对校准参数敏感，当 $ K\gamma_t < \min\{\frac{1}{8L}, \sqrt{\frac{\mu_5}{10\mu_6}}\} $ 时性能达到最优。