[论文解读] Genetic CFL: Optimization of Hyper-Parameters in Clustered Federated Learning

Shaashwat Agrawal, Sagnik Sarkar+4 more|arXiv (Cornell University)|Jul 15, 2021

Privacy-Preserving Technologies in Data参考文献 31被引用 5

一句话总结

本文提出 Genetic CFL，一种用于聚类联邦学习的新型超参数优化框架，该框架利用基于密度的聚类（DBSCAN）根据模型超参数对边缘设备进行分组，并应用遗传算法对各聚类的超参数进行演化优化。该方法在仅 10 个训练轮次内实现了 MNIST 数据集 97.99% 的准确率和 CIFAR-10 数据集 76.88% 的准确率，显著提升了在非独立同分布（non-IID）数据和通信约束条件下的收敛速度与性能表现。

ABSTRACT

Federated learning (FL) is a distributed model for deep learning that integrates client-server architecture, edge computing, and real-time intelligence. FL has the capability of revolutionizing machine learning (ML) but lacks in the practicality of implementation due to technological limitations, communication overhead, non-IID (independent and identically distributed) data, and privacy concerns. Training a ML model over heterogeneous non-IID data highly degrades the convergence rate and performance. The existing traditional and clustered FL algorithms exhibit two main limitations, including inefficient client training and static hyper-parameter utilization. To overcome these limitations, we propose a novel hybrid algorithm, namely genetic clustered FL (Genetic CFL), that clusters edge devices based on the training hyper-parameters and genetically modifies the parameters cluster-wise. Then, we introduce an algorithm that drastically increases the individual cluster accuracy by integrating the density-based clustering and genetic hyper-parameter optimization. The results are bench-marked using MNIST handwritten digit dataset and the CIFAR-10 dataset. The proposed genetic CFL shows significant improvements and works well with realistic cases of non-IID and ambiguous data.

研究动机与目标

• 解决传统联邦学习与聚类联邦学习在处理非独立同分布（non-IID）数据和静态超参数时的局限性。
• 提升异构、真实世界联邦学习环境中模型的收敛速度与准确率。
• 通过基于超参数的客户端聚类，实现每簇独立优化，从而降低通信与计算开销。
• 通过引入自动化、可扩展的遗传优化框架，消除手动超参数调优的依赖。

提出的方法

• 基于客户端的超参数值（如初始学习率、批量大小等）使用 DBSCAN 进行聚类，实现分组模型训练。
• 每个聚类被分配一组独立的超参数，并通过遗传算法对这些参数进行演化，以提升本地模型性能。
• 遗传算法对超参数配置执行选择、交叉与变异操作，以优化各聚类的准确率与收敛速度。
• 本地训练完成后执行模型聚合，各聚类的优化模型参与全局模型更新。
• 该框架在训练轮次间动态调整各聚类的超参数，增强对数据异构性的适应能力。
• 系统在真实场景下的非独立同分布与模糊数据条件下，于 MNIST 与 CIFAR-10 数据集上进行了评估。

实验结果

研究问题

• RQ1 在非独立同分布数据条件下，如何实现聚类联邦学习中超参数优化的自适应性与可扩展性？
• RQ2 基于密度的超参数聚类是否能提升异构边缘环境下的模型收敛速度与准确率？
• RQ3 与静态或全局超参数设置相比，按聚类进行遗传超参数演化在联邦学习中能带来多大性能提升？
• RQ4 Genetic CFL 框架如何在保持高准确率的同时降低通信与计算成本？
• RQ5 与现有基于聚类的联邦学习方法相比，Genetic CFL 在准确率与训练轮次方面带来了多大的性能增益？

主要发现

• Genetic CFL 仅用 10 个训练轮次就在 MNIST 数据集上实现了 97.99% 的准确率，显著优于基线方法在速度与准确率上的表现。
• 在 CIFAR-10 数据集上，Genetic CFL 同样在 10 轮内达到 76.88% 的准确率，展现出在复杂非独立同分布数据下的强大性能。
• 与最先进方法相比，该算法显著减少了所需的训练轮次数量，例如相比 Byzantine Robustness of CFL（200 轮）和 FedZip（20 轮）均有显著提升。
• Genetic CFL 在 MNIST 上优于迭代联邦聚类方法，但在 CIFAR-10 上表现混合，归因于数据增强与旋转操作提升了特征提取能力。
• 该框架展现出高度的可扩展性与适应性，随着客户端数量增加，性能持续提升，主要得益于各聚类内更优的超参数优化。
• 遗传优化的集成消除了手动超参数调优的需要，实现了对多样化数据与设备特性的自动化、动态适应。