[论文解读] Fast-Convergent Federated Learning with Adaptive Weighting

Hongda Wu, Ping Wang|arXiv (Cornell University)|Dec 1, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用 8

一句话总结

该论文提出 FedAdp，一种快速收敛的联邦学习算法，通过基于本地梯度与全局梯度之间夹角来自适应地加权参与节点，衡量其对全局模型聚合的贡献。通过对这些夹角应用非线性映射，FedAdp 动态抑制负面贡献并增强正面贡献，相较于 FedAvg，在 MNIST 上减少高达 54.1% 的通信轮次，在 FashionMNIST 上减少高达 45.4%。

ABSTRACT

Federated learning (FL) enables resource-constrained edge nodes to collaboratively learn a global model under the orchestration of a central server while keeping privacy-sensitive data locally. The non-independent-and-identically-distributed (non-IID) data samples across participating nodes slow model training and impose additional communication rounds for FL to converge. In this paper, we propose Federated Adaptive Weighting (FedAdp) algorithm that aims to accelerate model convergence under the presence of nodes with non-IID dataset. We observe the implicit connection between the node contribution to the global model aggregation and data distribution on the local node through theoretical and empirical analysis. We then propose to assign different weights for updating the global model based on node contribution adaptively through each training round. The contribution of participating nodes is first measured by the angle between the local gradient vector and the global gradient vector, and then, weight is quantified by a designed non-linear mapping function subsequently. The simple yet effective strategy can reinforce positive (suppress negative) node contribution dynamically, resulting in communication round reduction drastically. Its superiority over the commonly adopted Federated Averaging (FedAvg) is verified both theoretically and experimentally. With extensive experiments performed in Pytorch and PySyft, we show that FL training with FedAdp can reduce the number of communication rounds by up to 54.1% on MNIST dataset and up to 45.4% on FashionMNIST dataset, as compared to FedAvg algorithm.

研究动机与目标

• 解决在边缘节点上存在非独立同分布（非IID）数据分布时联邦学习收敛缓慢的问题。
• 克服 FedAvg 的局限性，即无论节点贡献如何均分配相等权重，导致收敛性能次优。
• 开发一种动态的、基于贡献感知的加权策略，以提升联邦学习中的通信效率。
• 从理论上和实证上验证节点贡献与梯度对齐之间存在关联，且可被用于加速收敛。

提出的方法

• 在每轮训练中，通过本地梯度向量与全局梯度向量之间夹角的余弦值来衡量节点贡献。
• 对基于夹角的贡献评分应用非线性映射函数，将其转换为每个节点的动态权重。
• 使用加权平均法更新全局模型，其中权重与计算出的贡献评分成比例。
• 在非线性函数中引入可调参数 α，以控制高贡献与低贡献节点之间差异的放大程度。
• 将自适应加权策略集成到标准联邦平均框架中，无需修改模型架构。
• 在不同数据异质性水平下评估该方法，包括同时存在 IID 和非IID 节点的情况。

实验结果

研究问题

• RQ1 数据异质性（非IID分布）如何影响联邦学习的收敛速度？
• RQ2 本地数据分布与节点对全局模型聚合的贡献之间存在何种隐含关系？
• RQ3 基于梯度对齐的自适应加权能否提升联邦学习的收敛速度并减少通信轮次？
• RQ4 非线性映射参数 α 的选择如何影响自适应加权策略的性能？
• RQ5 与 FedAvg 相比，所提出方法在多大程度上减少了模型偏差和训练损失？

主要发现

• 在非IID数据设置下，FedAdp 相较于 FedAvg 在 MNIST 数据集上最多减少 54.1% 的通信轮次。
• 在 FashionMNIST 数据集上，FedAdp 相较于 FedAvg 最多减少 45.4% 的通信轮次。
• 即使在仅 50% 为 IID 节点、50% 为高数据偏移的非IID 节点场景下，该方法仍能实现更快收敛。
• 增加非线性映射参数 α 可通过放大节点贡献差异，在训练初期提升收敛速度。
• 实证结果表明，FedAdp 减少了节点间的梯度偏差，这与更低的训练损失和更快收敛相关。
• 自适应加权策略起到了正则化机制的作用，防止在偏斜数据上训练的本地模型显著偏离全局方向。