[论文解读] Federated Learning with Server Learning: Enhancing Performance for Non-IID Data
本文提出联邦服务器学习（FSL），一种新颖方法，通过使中央服务器在其小型私有数据集上执行辅助学习，显著提升非独立同分布（non-IID）数据下联邦学习（FL）的性能。即使服务器数据有限或分布不同，FSL相较于传统FL方法（如FedAvg、SCAFFOLD和FedDyn）在模型准确率和收敛速度方面均有显著提升。
Federated Learning (FL) has emerged as a means of distributed learning using local data stored at clients with a coordinating server. Recent studies showed that FL can suffer from poor performance and slower convergence when training data at clients are not independent and identically distributed. Here we consider a new complementary approach to mitigating this performance degradation by allowing the server to perform auxiliary learning from a small dataset. Our analysis and experiments show that this new approach can achieve significant improvements in both model accuracy and convergence time even when the server dataset is small and its distribution differs from that of the aggregated data from all clients.
研究动机与目标
- 为解决客户端数据非独立同分布（non-IID）时联邦学习性能下降的常见现实挑战。
- 探究中央服务器——通常被视为被动角色——是否可通过辅助学习主动提升FL性能。
- 评估服务器数据规模和分布差异对FL性能的影响。
- 证明服务器学习可作为现有FL技术的轻量级、互补性增强手段。
提出的方法
- 服务器在与客户端数据不同的小型私有数据集上训练本地模型，作为全局模型更新的参考。
- 通过可学习的服务器权重γ，将客户端模型更新与服务器模型更新进行加权组合，以平衡贡献。
- 该方法引入正则化优化目标，通过引入服务器损失项将服务器知识融入，提升与全局最优解的对齐度。
- 该方法与现有FL框架兼容，可与SCAFFOLD或FedDyn等技术结合使用。
- 服务器数据可为真实数据、合成数据或模拟数据，即使数据有限，也能实现实际部署。
- 该方法采用学习率调度和正则化策略，以稳定训练并提升收敛性。
实验结果
研究问题
- RQ1中央服务器是否可通过在其小型数据集上执行辅助学习来提升联邦学习性能？
- RQ2服务器数据与客户端数据之间的分布差异如何影响性能提升？
- RQ3服务器数据集的大小是否影响模型准确率和收敛速度的提升？
- RQ4在非IID条件下，服务器学习是否能超越现有SOTA FL算法（如SCAFFOLD和FedDyn）？
- RQ5当服务器数据为合成生成或来自不同领域时，服务器学习的优势是否依然稳健？
主要发现
- 在C=2（高度非IID）的CIFAR-10数据集上，FSL经1,000轮训练后达到0.6144的测试准确率，优于FedDyn（0.5779）和SCAFFOLD。
- 在CIFAR-10数据集上，FSL在203轮内达到50%准确率，而FedDyn需502轮，表明收敛速度更快。
- 即使使用合成服务器数据（FSLsyn），该方法在EMNIST上实现了与FSL相当的性能，在CIFAR-10上略逊但依然更优。
- 将服务器数据集规模从250增至500样本后，FSL在CIFAR-10上的准确率从0.5835提升至0.5845，表明更多数据可带来可测量的性能增益。
- 使用真实服务器数据（n₀=250）的FSL优于使用更大合成数据（n₀=720）的FSLsyn，表明数据分布比数据规模本身更具决定性。
- 该方法对超参数选择具有鲁棒性，在不同学习率和正则化参数下均保持稳定性能。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。