[论文解读] FedCD: Improving Performance in non-IID Federated Learning

Kavya Kopparapu, Eric W. Lin+1 more|arXiv (Cornell University)|Jun 17, 2020

Privacy-Preserving Technologies in Data参考文献 9被引用 28

一句话总结

FedCD 提出了一种新颖的联邦学习框架，通过动态克隆高性能全局模型并删除低性能模型，提升了非独立同分布（non-IID）数据下的性能，使设备能够根据数据分布相似性自组织成组。在 CIFAR-10 上的实验表明，FedCD 在通信和存储开销极低的情况下，收敛速度更快且准确率更高。

ABSTRACT

Federated learning has been widely applied to enable decentralized devices, which each have their own local data, to learn a shared model. However, learning from real-world data can be challenging, as it is rarely identically and independently distributed (IID) across edge devices (a key assumption for current high-performing and low-bandwidth algorithms). We present a novel approach, FedCD, which clones and deletes models to dynamically group devices with similar data. Experiments on the CIFAR-10 dataset show that FedCD achieves higher accuracy and faster convergence compared to a FedAvg baseline on non-IID data while incurring minimal computation, communication, and storage overheads.

研究动机与目标

• 解决在边缘设备上数据非独立同分布（non-IID）时联邦学习性能不佳的挑战。
• 克服 FedAvg 的局限性，后者假设数据独立同分布（IID），在非独立同分布设置下因冲突更新而表现不佳。
• 开发一种可扩展的集中式框架，通过维护多个全局模型实现个性化学习，同时避免全对全通信。
• 在非独立同分布场景下，最小化通信和存储开销，同时确保快速收敛和高准确率。
• 通过模型评分和动态克隆/删除机制，使设备能够基于本地数据相似性自选进入原型组（archetype groups）。

提出的方法

• 在预设的里程碑轮次，中央服务器克隆所有活跃的全局模型，并对其进行压缩后分发。
• 每个设备在其本地数据上训练所有可用模型，并基于其在设备本地验证集上的表现，为每个模型计算一个评分。
• 服务器使用加权平均更新每个全局模型，其中权重与该模型在设备上的评分成正比。
• 每轮结束后，从设备本地存储中删除低分模型，以限制设备端存储并防止模型爆炸。
• 设备优先更新在其数据上评分较高的模型，从而实现基于数据分布相似性的自组织，形成具有相似数据分布的组（原型组）。
• 通过限制每个设备的活跃模型数量并使用量化模型压缩，框架在模型专业化与系统效率之间取得平衡。

实验结果

研究问题

• RQ1 集中式联邦学习框架能否通过动态维护多个专用全局模型，有效处理非独立同分布数据？
• RQ2 在非独立同分布设置下，FedCD 的模型克隆与删除机制相比 FedAvg 如何提升收敛速度与准确率？
• RQ3 FedCD 在保持性能的同时，对设备端存储和通信开销的限制程度如何？
• RQ4 设备如何通过模型评分与选择机制，基于数据相似性自组织成原型组？
• RQ5 不同数据偏差水平对 FedCD 中模型专业化与收敛动态的影响如何？

主要发现

• 在超几何分布和分层数据分布设置下，FedCD 在非独立同分布数据上的收敛速度和准确率均优于 FedAvg。
• 在分层原型实验中，FedCD 仅用 45 轮收敛，而 FedAvg 需 300 轮（上限），实现 1.482 倍的时钟时间提升。
• 在超几何实验中，FedCD 于 50 轮收敛，而 FedAvg 需 300 轮，实现 3.488 倍的时钟时间优势。
• 训练结束时，设备模型评分的平均标准差趋近于零，表明设备收敛于一个或两个高性能模型。
• 每个设备在整个训练过程中最多仅维护两个活跃模型，证明了对设备端存储和模型爆炸的有效控制。
• 即使数据异质性增加，活跃模型数量仍保持稳定且未失控增长，这是由于对低分模型进行了激进的删除。