[论文解读] Heterogeneous Data-Aware Federated Learning

Lixuan Yang, Cedric Beliard+1 more|arXiv (Cornell University)|Nov 12, 2020

Privacy-Preserving Technologies in Data参考文献 13被引用 8

一句话总结

本文提出了一种新型联邦学习框架——异构数据感知联邦学习（HDAFL），该框架将模型参数分离为通用（共享）和客户端特定（私有）两部分。通过仅聚合通用特征并保留各客户端的私有分类器，HDAFL在非独立同分布（non-i.i.d.）、类别不相交及多模态数据条件下显著提升了准确率、收敛速度与通信效率——通信成本最高可降低2倍，且相比FedAvg的准确率损失显著更低。

ABSTRACT

Federated learning (FL) is an appealing concept to perform distributed training of Neural Networks (NN) while keeping data private. With the industrialization of the FL framework, we identify several problems hampering its successful deployment, such as presence of non i.i.d data, disjoint classes, signal multi-modality across datasets. In this work, we address these problems by proposing a novel method that not only (1) aggregates generic model parameters (e.g. a common set of task generic NN layers) on server (e.g. in traditional FL), but also (2) keeps a set of parameters (e.g, a set of task specific NN layer) specific to each client. We validate our method on the traditionally used public benchmarks (e.g., Femnist) as well as on our proprietary collected dataset (i.e., traffic classification). Results show the benefit of our method, with significant advantage on extreme cases.

研究动机与目标

• 为解决真实场景中数据非独立同分布、类别分布不相交且客户端间存在信号多模态性时联邦学习的局限性。
• 在保持模型隐私的同时，降低由数据异构性引发的通信开销与模型偏差。
• 在全模型共享受限的隐私敏感环境中，实现可实用的联邦学习。
• 在极端数据不平衡与异构性条件下，提升收敛速度与准确率稳定性。
• 在公开基准数据集（如FEMNIST）及大规模专有TCP/IP流量分类数据集上验证该方法。

提出的方法

• 该方法将神经网络分解为两部分：通用共享层（如特征提取器）与客户端特定层（如任务特定分类器）。
• 通用参数通过服务器端的FedAvg式平均在客户端间聚合，而客户端特定参数在本地训练且永不共享。
• 训练过程在各客户端的私有模型本地更新与全局通用特征提取器参数聚合之间交替进行。
• 通过仅交换通用特征提取组件而非完整模型或最终分类器，确保模型隐私。
• 通信成本降低，因为每轮仅传输较小的通用参数集，且由于全局特征学习稳定，权重偏差最小化。
• 采用非独立同分布及类别不相交采样策略评估该方法，以模拟真实世界中的数据异构性。

实验结果

研究问题

• RQ1 在数据非独立同分布、类别分布不相交且存在信号多模态性的条件下，联邦学习框架能否维持高模型准确率？
• RQ2 与标准FedAvg相比，将模型参数分离为通用与客户端特定部分是否能提升收敛速度与通信效率？
• RQ3 在异构数据环境下，HDAFL能在多大程度上降低通信成本，同时保持或提升准确率？
• RQ4 与FedAvg相比，HDAFL在极端数据不平衡与隐私约束下的表现如何？
• RQ5 在真实应用场景（如TCP/IP流量分类）中，HDAFL能否在通信成本降低10倍的同时实现1%的准确率损失目标？

主要发现

• 在非独立同分布的FEMNIST数据上，HDAFL以86.8 MB通信量（相比FedAvg的171.7 MB）实现78%准确率，通信成本降低2倍，表现优于FedAvg。
• 在50个客户端条件下，HDAFL仅需83轮即可达到78%准确率，比FedAvg快1.3倍，通信量减少1.5倍。
• 在TCP/IP流量分类任务中，HDAFL在4轮后实现通信成本降低33倍，仅损失1.2%准确率，且更早达到1%准确率损失目标，优于FedAvg。
• 8轮后，HDAFL实现0.4%准确率损失，通信成本降低16.5倍，而FedAvg未能达到1%准确率损失阈值。
• 由于减少了权重偏差，HDAFL表现出更平滑的收敛曲线，尤其在客户端数量较少时，表明模型稳定性显著提升。
• 即使在极端数据异构性条件下，该方法仍保持高性能，且随着数据不平衡程度增加，性能增益进一步提升。