[论文解读] On the Importance and Applicability of Pre-Training for Federated Learning

Hong-You Chen, Cheng-Hao Tu+3 more|arXiv (Cornell University)|Jun 23, 2022

Privacy-Preserving Technologies in Data被引用 10

一句话总结

本文研究了联邦学习（FL）中预训练的影响，表明使用预训练权重（尤其是来自ImageNet或合成数据的权重）初始化全局模型能显著提升FL性能，尤其在非独立同分布（non-IID）数据条件下。研究显示，预训练可缩小联邦学习与集中式学习之间的准确率差距，稳定全局聚合过程，并且即使在无真实数据的情况下依然有效，通过新颖的合成数据生成方法（如分形对相似性，FPS）实现。

ABSTRACT

Pre-training is prevalent in nowadays deep learning to improve the learned model's performance. However, in the literature on federated learning (FL), neural networks are mostly initialized with random weights. These attract our interest in conducting a systematic study to explore pre-training for FL. Across multiple visual recognition benchmarks, we found that pre-training can not only improve FL, but also close its accuracy gap to the counterpart centralized learning, especially in the challenging cases of non-IID clients' data. To make our findings applicable to situations where pre-trained models are not directly available, we explore pre-training with synthetic data or even with clients' data in a decentralized manner, and found that they can already improve FL notably. Interestingly, many of the techniques we explore are complementary to each other to further boost the performance, and we view this as a critical result toward scaling up deep FL for real-world applications. We conclude our paper with an attempt to understand the effect of pre-training on FL. We found that pre-training enables the learned global models under different clients' data conditions to converge to the same loss basin, and makes global aggregation in FL more stable. Nevertheless, pre-training seems to not alleviate local model drifting, a fundamental problem in FL under non-IID data.

研究动机与目标

• 探究预训练（在集中式深度学习中广泛应用）是否能提升联邦学习（FL）的性能。
• 评估在现实世界FL中常见的具有挑战性的非独立同分布（non-IID）数据设置下，预训练的有效性。
• 探索替代真实数据预训练的方案，例如合成数据或使用客户端数据进行去中心化预训练。
• 理解预训练如何改善联邦学习的内在机制，特别是训练动态和聚合稳定性方面。
• 评估预训练与现有联邦学习技术（包括先进的本地和全局优化方法）的互补性。

提出的方法

• 在多个视觉基准（CIFAR-10/100、Tiny-ImageNet、iNaturalist 和 Cityscapes）上，系统比较FedAvg在随机初始化与预训练（如ImageNet）模型初始化下的表现。
• 提出分形对相似性（FPS）方法，一种受分形几何启发的合成数据生成方法，用于在无真实数据的情况下进行模型预训练。
• 实施两阶段联邦训练流程：在合成数据上进行自监督预训练，随后在联邦学习中进行有监督微调。
• 使用局部模型的最优凸组合分析聚合稳定性，对比预训练与随机初始化设置下的表现。
• 通过消融研究分析局部模型漂移与损失曲面收敛性，以理解预训练对训练动态的影响。
• 将预训练权重与最先进的联邦自监督学习方法（如FedSSL）结合，评估性能提升效果。

实验结果

研究问题

• RQ1 预训练是否能提升FedAvg性能，特别是在客户端之间存在非独立同分布（non-IID）数据分布的情况下？
• RQ2 预训练如何影响联邦学习与集中式学习之间的准确率差距？
• RQ3 能否通过合成数据生成（如FPS）有效替代真实数据预训练，且不损害性能？
• RQ4 预训练是否能缓解局部模型漂移——这是非独立同分布联邦学习中的一个已知挑战？
• RQ5 预训练如何影响联邦学习中全局模型聚合的稳定性？

主要发现

• 在所有评估的基准上，预训练均一致提升了FedAvg的准确率，且在更具挑战性的非独立同分布（non-IID）设置下相对增益更大。
• 预训练显著缩小了联邦学习与集中式学习之间的准确率差距，其中在Dirichlet非独立同分布设置下的CIFAR-10和Tiny-ImageNet上改善最为明显。
• 所提出的分形对相似性（FPS）方法可生成有效的合成数据，使无需真实数据即可实现高效预训练，从而提升FedAvg性能。
• 预训练并未缓解局部模型漂移，但通过更小的最优凸组合增益和更低的损失方差，显著稳定了全局聚合过程。
• 预训练使在不同客户端数据分布下训练的全局模型能够收敛至相同的损失盆地，从而增强泛化能力与稳定性。
• 预训练与先进联邦学习方法具有互补性：它能提升这些方法的性能，但降低了其相对于FedAvg的相对增益，表明当使用预训练权重时，FedAvg本身依然表现强劲。