[论文解读] FedFMC: Sequential Efficient Federated Learning on Non-iid Data

Kavya Kopparapu, Eric W. Lin|arXiv (Cornell University)|Jun 19, 2020

Privacy-Preserving Technologies in Data参考文献 4被引用 20

一句话总结

FedFMC 提出了一种新颖的联邦学习框架，该框架根据数据原型相似性动态地将设备分叉为多个组，分别更新独立的全局模型，随后利用弹性权重固化（Elastic Weight Consolidation, EWC）将这些模型合并与整合，从而生成一个统一且高性能的模型。该方法在非独立同分布（non-iid）数据上表现卓越，无需全局共享数据子集，且通信成本仅与 FedAvg 相当。

ABSTRACT

As a mechanism for devices to update a global model without sharing data, federated learning bridges the tension between the need for data and respect for privacy. However, classic FL methods like Federated Averaging struggle with non-iid data, a prevalent situation in the real world. Previous solutions are sub-optimal as they either employ a small shared global subset of data or greater number of models with increased communication costs. We propose FedFMC (Fork-Merge-Consolidate), a method that dynamically forks devices into updating different global models then merges and consolidates separate models into one. We first show the soundness of FedFMC on simple datasets, then run several experiments comparing against baseline approaches. These experiments show that FedFMC substantially improves upon earlier approaches to non-iid data in the federated learning context without using a globally shared subset of data nor increase communication costs.

研究动机与目标

• 解决联邦学习中因边缘设备间标签偏移导致的性能下降问题。
• 克服先前方法依赖全局共享数据子集或通信成本更高的局限性。
• 开发一种在保持模型大小效率的同时，加快在多样化数据分布上收敛的方法。
• 使单一全局模型能够无需显式原型标签即可在多个数据原型上实现良好泛化。
• 提供一种通信高效、可扩展的解决方案，避免由冲突模型更新引发的性能振荡。

提出的方法

• FedFMC 根据本地模型性能与相似性，将边缘设备动态划分为不同组别，每组独立训练各自的全局模型。
• 每组使用联邦平均（Federated Averaging）独立训练其全局模型，使其在特定数据原型上实现收敛。
• 分叉资格标准确保设备仅在完成充分训练并满足足够时间间隔后才进行分叉，以避免系统不稳定。
• 合并阶段利用弹性权重固化（Elastic Weight Consolidation, EWC）将多个组模型整合为单一全局模型，以保留各原型的知识。
• 当模型准确率增益趋于平缓时触发整合过程，确保知识融合稳定且高效。
• 设备端模型大小保持恒定，因为任意时刻仅存储一个模型，更新通过过程中动态切换模型实现。

实验结果

研究问题

• RQ1 联邦学习系统是否能在不依赖全局共享数据子集的前提下，实现非独立同分布数据上的更快收敛？
• RQ2 与标准 FedAvg 相比，动态分叉与合并模型是否能提升在多样化数据原型上的泛化能力？
• RQ3 多模型方法的通信成本是否可保持与 FedAvg 相当，同时在非独立同分布数据上实现更优性能？
• RQ4 在整合阶段使用 EWC 对所有原型的模型稳定性与性能有何影响？
• RQ5 尽管训练过程中使用多个模型，该方法是否能保持边缘设备上模型大小恒定？

主要发现

• FedFMC 在非独立同分布数据上的准确率显著优于 FedAvg 及其他基线方法，尤其在标签偏移场景下表现更优。
• 该方法优于依赖全局共享 5% 数据子集的方法，在无需此类数据依赖的情况下实现了更高准确率。
• FedFMC 的通信成本在最坏情况下为 O(T²·N)，但实际中因分叉频率有限，与 FedAvg 接近。
• 设备端模型大小在整个训练过程中保持恒定，因为任意时刻仅存储一个模型，尽管存在动态模型切换。
• 使用 EWC 的合并阶段成功将多个原型的知识整合为一个强大且稳健的全局模型。
• FedFMC 同时支持个性化模型（分叉阶段）与统一全局模型（合并阶段），在部署中具备灵活性。