[论文解读] Group Knowledge Transfer: Federated Learning of Large CNNs at the Edge

Chaoyang He, Murali Annavaram+1 more|arXiv (Cornell University)|Jul 28, 2020

Privacy-Preserving Technologies in Data参考文献 77被引用 190

一句话总结

这篇论文将面向边缘设备的联邦学习重新表述为 FedGKT，一种组知识传递框架，训练小型边缘 CNN，并通过知识蒸馏与大型服务器 CNN 同步，在减少边缘计算和通信的同时，达到与 FedAvg 相当的精度。

ABSTRACT

Scaling up the convolutional neural network (CNN) size (e.g., width, depth, etc.) is known to effectively improve model accuracy. However, the large model size impedes training on resource-constrained edge devices. For instance, federated learning (FL) may place undue burden on the compute capability of edge nodes, even though there is a strong practical need for FL due to its privacy and confidentiality properties. To address the resource-constrained reality of edge devices, we reformulate FL as a group knowledge transfer training algorithm, called FedGKT. FedGKT designs a variant of the alternating minimization approach to train small CNNs on edge nodes and periodically transfer their knowledge by knowledge distillation to a large server-side CNN. FedGKT consolidates several advantages into a single framework: reduced demand for edge computation, lower communication bandwidth for large CNNs, and asynchronous training, all while maintaining model accuracy comparable to FedAvg. We train CNNs designed based on ResNet-56 and ResNet-110 using three distinct datasets (CIFAR-10, CIFAR-100, and CINIC-10) and their non-I.I.D. variants. Our results show that FedGKT can obtain comparable or even slightly higher accuracy than FedAvg. More importantly, FedGKT makes edge training affordable. Compared to the edge training using FedAvg, FedGKT demands 9 to 17 times less computational power (FLOPs) on edge devices and requires 54 to 105 times fewer parameters in the edge CNN. Our source code is released at FedML (https://fedml.ai).

研究动机与目标

• 在资源受限的边缘设备上训练大型 CNN，并且不集中数据的动机。
• 提出 FedGKT，将计算转移到服务器，同时保持边缘端工作负载较轻。
• 在边缘 FLOPs 和参数显著减少的同时，达到与 FedAvg 相当的精度。
• 在多边缘客户端中探索异步训练和知识蒸馏。

提出的方法

• 将 FL 重构为边缘模型与服务器模型之间的交替最小化问题。
• 在每个客户端使用小型边缘特征提取器和本地分类器，在云端使用大型服务器 CNN。
• 在边缘和服务器模型之间引入双向知识蒸馏损失（KL/散度项）以稳定训练。
• 以交替步骤训练服务器和边缘组件，交换隐藏特征和服务器 logits。
• 采用异步训练变体，在收到任一客户端输入时开始服务器端训练。

实验结果

研究问题

• RQ1 在显著降低边缘计算量和参数数量的同时，FedGKT 是否能达到与 FedAvg 相同的精度？
• RQ2 双向知识传递是否在非 IID 边缘数据上改善收敛性和性能？
• RQ3 与同步方法相比，异步的 FedGKT 训练是否稳健且时间高效？
• RQ4 在实践中，FedGKT 在通信、隐私和可扩展性方面有哪些权衡？

主要发现

• 在 IID 和 non-IID 数据下，FedGKT 在 CIFAR-10、CIFAR-100 和 CINIC-10 上的准确率与 FedAvg 相当或略高。
• 使用 FedGKT 的边缘计算量在 FLOPs 方面低 9 到 17 倍，边缘 CNN 参数比 FedAvg 基线少 54 到 105 倍。
• 异步 FedGKT 训练在准确度上不低于同步训练。
• 双向知识传递（server-to-edge 和 edge-to-server）提升性能，尤其是在更具挑战性的非 IID 数据集上。
• FedGKT 通过交换隐藏特征而不是完整模型来减少边缘内存和通信带宽。