[论文解读] DistFL: Distribution-aware Federated Learning for Mobile Scenarios

Bingyan Liu, Yifeng Cai+6 more|arXiv (Cornell University)|Oct 22, 2021

Privacy-Preserving Technologies in Data参考文献 60被引用 9

一句话总结

本文提出 DistFL，一种分布感知的联邦学习框架，通过从批量归一化层中提取的分布知识对非独立同分布（non-iid）客户端模型进行聚类，实现基于簇的模型聚合。通过识别并分组具有相似数据分布的客户端，DistFL 在强数据偏移的移动场景中显著提升了准确率——相比 FedAvg 最高提升 21%–40%，同时通过选择性 BN 通道优化，在保持隐私和效率的前提下实现最小计算开销。

ABSTRACT

Federated learning (FL) has emerged as an effective solution to decentralized and privacy-preserving machine learning for mobile clients. While traditional FL has demonstrated its superiority, it ignores the non-iid (independently identically distributed) situation, which widely exists in mobile scenarios. Failing to handle non-iid situations could cause problems such as performance decreasing and possible attacks. Previous studies focus on the "symptoms" directly, as they try to improve the accuracy or detect possible attacks by adding extra steps to conventional FL models. However, previous techniques overlook the root causes for the "symptoms": blindly aggregating models with the non-iid distributions. In this paper, we try to fundamentally address the issue by decomposing the overall non-iid situation into several iid clusters and conducting aggregation in each cluster. Specifically, we propose extbf{DistFL}, a novel framework to achieve automated and accurate extbf{Dist}ribution-aware extbf{F}ederated extbf{L}earning in a cost-efficient way. DistFL achieves clustering via extracting and comparing the extit{distribution knowledge} from the uploaded models. With this framework, we are able to generate multiple personalized models with distinctive distributions and assign them to the corresponding clients. Extensive experiments on mobile scenarios with popular model architectures have demonstrated the effectiveness of DistFL.

研究动机与目标

• 解决移动场景下非独立同分布数据分布导致联邦学习性能下降的根本原因。
• 克服现有方法仅处理症状（如准确率低、投毒攻击）而非盲模型聚合在多样化数据分布下根本问题的局限性。
• 实现无需标签数据或人工调优的自动化、高精度、低成本客户端聚类，基于其数据分布特征。
• 设计一种框架，通过为具有相似数据分布的客户端簇分配独立模型，支持个性化模型生成。
• 通过仅从部分批量归一化层中提取分布知识，确保隐私与效率，降低计算成本。

提出的方法

• 通过向批量归一化（BN）层注入合成的“伪数据”来生成并提取本地模型中的分布知识，以捕捉统计特性。
• 将模型对这种合成数据的响应作为分布知识的代理，构建相似性矩阵以比较客户端。
• 应用聚类算法将具有相似分布知识的客户端分组，将整体非独立同分布问题分解为多个独立同分布簇。
• 在每个簇内使用标准 FedAvg 式平均法进行模型聚合，提升收敛速度与准确率。
• 通过仅选择部分（例如 20%–50%）BN 通道进行知识提取，优化效率，降低计算成本而不损失聚类质量。
• 在包含多样化模型架构和模拟非独立同分布数据分布的真实移动场景中验证该框架。

实验结果

研究问题

• RQ1 基于分布感知的客户端模型聚类是否能提升非独立同分布移动场景下的联邦学习性能？
• RQ2 从批量归一化层中提取的分布知识在捕捉客户端数据分布差异方面有多有效？
• RQ3 在保证最小计算成本的前提下，准确聚类所需的分布知识点数量（z）和提取比例（E%）的最优值是什么？
• RQ4 在强数据偏移条件下，该框架是否能在无需人工干预的情况下实现优于最先进方法的准确率？
• RQ5 该框架如何在实现高精度聚类与个性化模型生成的同时，保持隐私？

主要发现

• 在非独立同分布移动场景中，DistFL 相较 FedAvg 显著提升准确率，在极端数据偏移条件下性能提升达 21%–40%。
• 使用 100 个分布知识点（z=100）即可在任意 BN 通道提取比例（E%）下提供足够的聚类准确率，表明对知识数量具有鲁棒性。
• 随着分布知识点数量增加，聚类性能持续提升；当知识足够时，即使仅提取 50% 或 20% 的 BN 通道，也能保持良好聚类效果，显著降低计算成本。
• 相似性矩阵分析表明，来自相同分布的客户端形成具有高相似度的独立对角块，验证了聚类机制的有效性。
• 该框架成功将非独立同分布数据分解为多个独立同分布簇，实现每个簇内更准确、更个性化的模型聚合。
• 该方法通过解决非独立同分布问题的根本原因，而非仅处理低准确率或投毒攻击等症状，优于最先进方法。