[论文解读] Federated Learning with Unbiased Gradient Aggregation and Controllable Meta Updating

Xin Yao, Tianchi Huang+3 more|arXiv (Cornell University)|Oct 18, 2019

Privacy-Preserving Technologies in Data参考文献 33被引用 50

一句话总结

本论文提出 Unbiased Gradient Aggregation (UGA) 和可控元更新 (FedMeta) 来改进 FedAvg，减少梯度偏差并使优化与目标分布保持一致，在 IID 与非 IID 的联邦学习设置中展示更快的收敛和更高的准确度。

ABSTRACT

Federated learning (FL) aims to train machine learning models in the decentralized system consisting of an enormous amount of smart edge devices. Federated averaging (FedAvg), the fundamental algorithm in FL settings, proposes on-device training and model aggregation to avoid the potential heavy communication costs and privacy concerns brought by transmitting raw data. However, through theoretical analysis we argue that 1) the multiple steps of local updating will result in gradient biases and 2) there is an inconsistency between the expected target distribution and the optimization objectives following the training paradigm in FedAvg. To tackle these problems, we first propose an unbiased gradient aggregation algorithm with the keep-trace gradient descent and the gradient evaluation strategy. Then we introduce an additional controllable meta updating procedure with a small set of data samples, indicating the expected target distribution, to provide a clear and consistent optimization objective. Both the two improvements are model- and task-agnostic and can be applied individually or together. Experimental results demonstrate that the proposed methods are faster in convergence and achieve higher accuracy with different network architectures in various FL settings.

研究动机与目标

• 识别并分析 FedAvg 在多本地更新与客户端采样下的梯度偏差与目标不一致性。
• 提出 Unbiased Gradient Aggregation (UGA) 以在不产生高计算开销的前提下实现无偏下降方向。
• 引入 Controllable Meta Updating (FedMeta) 通过元训练集使优化与定义的目标分布对齐。
• 证明 UGA 与 FedMeta（单独或组合）在 CNN、GRU、IID 与非 IID FL 设置中能够加速收敛并提升准确率。

提出的方法

• 开发 keep-trace 梯度下降，以保留本地步骤中的参数更新历史。
• 通过梯度评估步骤在初始服务器模型上评估梯度，以获得无偏本地梯度 (g_t^k)。
• 在服务器上使用对采样客户端的加权平均聚合无偏梯度 (g_t)。
• 引入 FedMeta，一种元学习阶段，在聚合后使用小型元数据集 D_meta 更新全局模型，以强制实现稳定目标。
• 显示与 FedAvg 和 UGA 兼容，可以单独使用任一方法或组合使用（FedMeta w/ UGA）。
• 在 CNN、GRU、IID 和非 IID FL 基准（CIFAR-10、FEMNIST、Shakespeare）上提供实验。

实验结果

研究问题

• RQ1 FedAvg 多次本地更新如何偏离梯度并使优化目标与目标分布错位？
• RQ2 无偏梯度聚合（UGA）是否能够在不需要极高计算成本的情况下实现正确的下降方向？
• RQ3 可控元更新过程（FedMeta）是否能够强制实现一致的目标并提升性能？
• RQ4 UGA 与 FedMeta 是否在 IID 与非 IID 的联邦设置以及不同模型架构下改善收敛速度和准确率？

主要发现

• UGA 能实现与 FedAvg 兼容的无偏梯度聚合，随着本地更新步数增加，改进收敛和准确性。
• FedMeta 提供一个可控的元训练目标，引导联邦优化朝向预定义的元数据分布。
• FedMeta w/ UGA 在 IID 与非 IID 设置中始终优于 FedAvg、FedShare 与 FedProx，在通讯轮数上有显著下降。
• 在消融研究中，UGA 提供更快的初始增益，而 FedMeta 在各轮之间提供更稳定的性能，结合 FedMeta w/ UGA 在许多设置中获得最佳结果。