[论文解读] Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices

Dingzhu Wen, Ki Jun Jeon+1 more|arXiv (Cornell University)|Sep 30, 2021

Privacy-Preserving Technologies in Data被引用 9

一句话总结

该论文提出联邦丢弃（FedDrop）框架，通过根据设备的个体 C²（通信与计算）能力，为资源受限设备分配异构的、随机剪枝的子网络（通过丢弃实现），从而在联邦学习中降低通信与计算开销。FedDrop 通过提升模型多样性与准确性，优于传统联邦学习与均匀丢弃方法，在高丢弃率下于 CIFAR-10 上实现最高 2.5% 的准确率提升。

ABSTRACT

Federated learning (FL) is a popular framework for training an AI model using distributed mobile data in a wireless network. It features data parallelism by distributing the learning task to multiple edge devices while attempting to preserve their local-data privacy. One main challenge confronting practical FL is that resource constrained devices struggle with the computation intensive task of updating of a deep-neural network model. To tackle the challenge, in this paper, a federated dropout (FedDrop) scheme is proposed building on the classic dropout scheme for random model pruning. Specifically, in each iteration of the FL algorithm, several subnets are independently generated from the global model at the server using dropout but with heterogeneous dropout rates (i.e., parameter-pruning probabilities),each of which is adapted to the state of an assigned channel. The subnets are downloaded to associated devices for updating. Thereby, FedDrop reduces both the communication overhead and devices' computation loads compared with the conventional FL while outperforming the latter in the case of overfitting and also the FL scheme with uniform dropout (i.e., identical subnets).

研究动机与目标

• 解决资源受限边缘设备在联邦学习中面临的通信与计算瓶颈双重挑战。
• 克服现有方法在性能下降或复杂度增加方面的局限性。
• 实现在移动设备与物联网设备上具有异构能力的高效、隐私保护的模型训练。
• 不仅将丢弃用于正则化，还将其作为联邦学习中动态负载均衡机制。
• 通过非均匀子网络更新提升模型多样性，从而改善模型泛化能力与收敛性。

提出的方法

• 使用不同设备的丢弃率，从全局模型生成多个子网络。
• 根据设备的通信速率与计算能力，为其分配唯一的子网络。
• 根据设备的 C² 能力动态调整丢弃率，以最小化每轮延迟并平衡模型更新质量。
• 仅训练并传输剪枝后的子网络，而非完整模型，从而降低通信与计算负载。
• 在服务器端聚合更新后的子网络，以重构并更新全局模型。
• 引入每轮延迟约束，联合优化 C² 效率与模型性能。

实验结果

研究问题

• RQ1 丢弃是否可被重新利用，不仅用于正则化，还可作为联邦学习中的动态负载均衡机制？
• RQ2 基于设备能力进行异构子网络分配，与均匀丢弃相比，如何影响训练延迟与模型准确率？
• RQ3 在联邦学习中使用子网络更新时，通信/计算开销减少与性能退化之间的权衡关系如何？
• RQ4 与传统联邦学习和均匀丢弃相比，FedDrop 是否能提升模型泛化能力并减少过拟合？
• RQ5 在非独立同分布（non-IID）数据分布与不同模型复杂度下，FedDrop 的性能表现如何？

主要发现

• 当使用 0.6 的丢弃率时，FedDrop 在 CIFAR-10 数据集上的测试准确率比均匀丢弃最高高出 2.5%。
• FedDrop 在模型准确率方面始终优于传统联邦学习与均匀丢弃，尤其在过拟合条件下表现更优。
• 在更严格的每轮延迟约束下，FedDrop 与均匀丢弃之间的性能差距进一步扩大，表明其具有更高的效率。
• 对于非 IID 数据上的 CNNMnist 模型，两种丢弃方案的性能均随丢弃率上升而略有下降，但 FedDrop 在所有丢弃率下均保持更高的准确率。
• FedDrop 通过仅训练剪枝子网络，有效降低了通信与计算开销，使每台设备的 C² 负载降至原始模型大小的 (1−p)²。
• 该方法有效平衡了模型多样性与计算可行性，使具有异构能力的设备能够实现高效训练。