[论文解读] ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training

Hui‐Po Wang, Sebastian U. Stich+2 more|arXiv (Cornell University)|Oct 11, 2021

Privacy-Preserving Technologies in Data参考文献 28被引用 13

一句话总结

ProgFed 提出了一种新颖的联邦学习框架，通过在扩展到完整模型之前逐步训练浅层子模型，降低了计算和双向通信成本。与标准训练相比，该方法将通信成本降低高达63%，计算成本降低20%，同时保持了模型性能，并在结合压缩技术时可实现高达50倍的通信成本降低。

ABSTRACT

Federated learning is a powerful distributed learning scheme that allows numerous edge devices to collaboratively train a model without sharing their data. However, training is resource-intensive for edge devices, and limited network bandwidth is often the main bottleneck. Prior work often overcomes the constraints by condensing the models or messages into compact formats, e.g., by gradient compression or distillation. In contrast, we propose ProgFed, the first progressive training framework for efficient and effective federated learning. It inherently reduces computation and two-way communication costs while maintaining the strong performance of the final models. We theoretically prove that ProgFed converges at the same asymptotic rate as standard training on full models. Extensive results on a broad range of architectures, including CNNs (VGG, ResNet, ConvNets) and U-nets, and diverse tasks from simple classification to medical image segmentation show that our highly effective training approach saves up to $20\%$ computation and up to $63\%$ communication costs for converged models. As our approach is also complimentary to prior work on compression, we can achieve a wide range of trade-offs by combining these techniques, showing reduced communication of up to $50 imes$ at only $0.1\%$ loss in utility. Code is available at https://github.com/hui-po-wang/ProgFed.

研究动机与目标

• 在不牺牲模型性能的前提下，降低联邦学习中的通信和计算成本。
• 将集中式训练中常见的渐进式学习方法引入联邦学习设置，以提升效率。
• 设计一种框架，在保持与完整模型训练相当的收敛速度的同时，降低每次迭代的资源需求。
• 确保与联邦学习中现有压缩和优化技术的兼容性。
• 通过在任意训练阶段提供高实用性，实现任意时间学习（anytime learning）。

提出的方法

• ProgFed 将模型划分为重叠的、逐步扩展的子模型，从浅层开始。
• 在每个子模型上引入轻量级的本地监督头，以在渐进阶段引导训练。
• 训练过程从最浅的子模型逐步推进到完整模型，逐步增加模型容量。
• 该框架在理论上证明了其收敛速度与标准完整模型训练的渐近收敛率相同。
• 由于子模型更小，客户端与服务器之间的数据交换量更少，因此支持双向通信成本的节省。
• 该方法兼容经典压缩技术（如量化、稀疏化）以及联邦学习优化算法（如 FedAvg、FedProx、FedAdam）。

实验结果

研究问题

• RQ1 在联邦学习中采用渐进式训练是否能同时降低通信和计算成本，同时保持模型性能？
• RQ2 联邦学习中的渐进式训练是否能维持与标准完整模型训练相同的收敛速度？
• RQ3 在不同任务和模型架构下，ProgFed 在带宽和计算资源受限条件下的表现如何？
• RQ4 ProgFed 是否能与联邦学习中现有的压缩和优化技术有效结合？
• RQ5 渐进式训练是否能实现任意时间学习，即在任意训练阶段模型均具有实用价值？

主要发现

• 在联邦分割任务中，与标准训练相比，ProgFed 将计算成本降低高达20%，双向通信成本降低高达63%。
• 在联邦分类任务中，ProgFed 在相同训练轮次下，双向通信成本降低高达32%，计算成本降低高达25%。
• 当与压缩技术结合时，ProgFed 可实现高达50倍的通信成本降低，且模型效用仅损失0.1%。
• ProgFed 在性能上优于随机子模型选择和逐层微调方法，证明了渐进式训练对实现最佳性能的必要性。
• 在使用 FedAdam 等先进优化方法时，ProgFed 的准确率比标准训练最高提升4%。
• 学习曲线下的面积始终大于基线方法，表明其具备出色的任意时间学习性能。