[论文解读] Communication-Efficient Federated Distillation

Felix Sattler, Arturo Marbán+2 more|arXiv (Cornell University)|Dec 1, 2020

Privacy-Preserving Technologies in Data参考文献 45被引用 13

一句话总结

该论文提出了一种通信高效的框架——压缩联邦蒸馏（Compressed Federated Distillation, CFD），通过量化软标签并应用差分编码，显著降低了联邦学习的通信开销。在图像和语言建模任务中，与联邦平均（Federated Averaging）相比，通信量减少了超过10,000倍；与标准联邦蒸馏（Federated Distillation）相比，通信量减少了超过100倍。

ABSTRACT

Communication constraints are one of the major challenges preventing the wide-spread adoption of Federated Learning systems. Recently, Federated Distillation (FD), a new algorithmic paradigm for Federated Learning with fundamentally different communication properties, emerged. FD methods leverage ensemble distillation techniques and exchange model outputs, presented as soft labels on an unlabeled public data set, between the central server and the participating clients. While for conventional Federated Learning algorithms, like Federated Averaging (FA), communication scales with the size of the jointly trained model, in FD communication scales with the distillation data set size, resulting in advantageous communication properties, especially when large models are trained. In this work, we investigate FD from the perspective of communication efficiency by analyzing the effects of active distillation-data curation, soft-label quantization and delta-coding techniques. Based on the insights gathered from this analysis, we present Compressed Federated Distillation (CFD), an efficient Federated Distillation method. Extensive experiments on Federated image classification and language modeling problems demonstrate that our method can reduce the amount of communication necessary to achieve fixed performance targets by more than two orders of magnitude, when compared to FD and by more than four orders of magnitude when compared with FA.

研究动机与目标

• 解决联邦学习中的通信瓶颈问题，尤其针对大模型和资源受限客户端的情况。
• 研究联邦蒸馏（FD）相较于联邦平均（FA）等传统方法的通信效率。
• 通过数据筛选、软标签量化和差分编码技术，减少联邦蒸馏中的上游和下游通信量。
• 提出一种新型压缩方案，在显著降低通信成本的同时保持模型性能。
• 在不同数据异构性水平和模型架构下，验证所提方法的鲁棒性与可扩展性。

提出的方法

• 采用主动蒸馏-数据筛选方法，从公开数据集中选择具有信息量的样本，减少冗余通信。
• 在上游和下游通信中均实施1比特软标签表示的量化，以最小化数据量。
• 引入差分编码技术，通过编码与前一值的差异来压缩软标签更新，减少冗余。
• 提出双蒸馏技术，通过利用客户端间模型的一致性，进一步压缩下游通信。
• 将量化与差分编码统一整合到一个框架中，形成压缩联邦蒸馏（CFD），实现高压缩率且性能损失极小。
• 使用公开的未标注数据集生成软标签进行交换，而非模型参数，从而将通信成本与模型大小解耦。

实验结果

研究问题

• RQ1 联邦蒸馏的通信成本如何随蒸馏数据集大小和数据异构性而变化？
• RQ2 在不降低性能的前提下，软标签量化和差分编码能在多大程度上减少联邦蒸馏的通信开销？
• RQ3 在非独立同分布（non-i.i.d.）数据条件下，1比特量化对CFD中上游和下游通信的影响如何，尤其在性能保持方面？
• RQ4 在通信效率和收敛速度方面，CFD相较于联邦平均和标准联邦蒸馏有何表现？
• RQ5 所提出的压缩技术是否能在真实联邦学习基准中实现极端通信减少的同时保持模型准确率？

主要发现

• 在语言建模任务中，CFD相较于联邦平均将累计通信量减少了高达×10,580倍，从8,570 MB降至0.81 MB。
• 在图像分类任务中，CFD相较于标准联邦蒸馏实现了超过×100倍的通信量减少。
• 在非独立同分布（non-i.i.d.）数据设置下，上游和下游方向的1比特量化仍能保持模型性能至目标准确率。
• 在应用差分编码或高数据异构性条件下，通信成本略有上升，但整体压缩收益依然显著。
• CFD在不同数据异构性水平（i.i.d. 与 non-i.i.d.）下均表现出鲁棒性，且在CNN和Transformer模型上均保持一致的性能与通信效率。
• 该方法无需交换模型参数即可实现显著的通信节省，因此特别适用于带宽受限且注重隐私保护的环境。