[论文解读] Efficient and Light-Weight Federated Learning via Asynchronous Distributed Dropout

Chen Dun, Mirian Hipolito+3 more|arXiv (Cornell University)|Oct 28, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文提出 AsyncDrop，一种新颖的异步联邦学习框架，根据设备的计算能力，将通过分布式丢弃法生成的子模型分配给异构边缘设备。通过异步训练这些子模型并高效聚合更新，AsyncDrop 在非独立同分布（non-i.i.d.）联邦学习设置下，显著降低了通信和训练开销，同时在测试准确率方面与最先进方法相当或更优。

ABSTRACT

Asynchronous learning protocols have regained attention lately, especially in the Federated Learning (FL) setup, where slower clients can severely impede the learning process. Herein, we propose exttt{AsyncDrop}, a novel asynchronous FL framework that utilizes dropout regularization to handle device heterogeneity in distributed settings. Overall, exttt{AsyncDrop} achieves better performance compared to state of the art asynchronous methodologies, while resulting in less communication and training time overheads. The key idea revolves around creating ``submodels'' out of the global model, and distributing their training to workers, based on device heterogeneity. We rigorously justify that such an approach can be theoretically characterized. We implement our approach and compare it against other asynchronous baselines, both by design and by adapting existing synchronous FL algorithms to asynchronous scenarios. Empirically, exttt{AsyncDrop} reduces the communication cost and training time, while matching or improving the final test accuracy in diverse non-i.i.d. FL scenarios.

研究动机与目标

• 解决由于计算、内存和带宽方面设备异构性导致的联邦学习中的慢速设备（straggler）问题。
• 在不牺牲模型准确率的前提下，减少异步联邦学习中的通信和训练时间开销。
• 通过将子模型而非完整模型分发给客户端，实现高效、可扩展的训练。
• 从理论上证明在异步、非独立同分布联邦学习设置下使用子模型训练与丢弃法的合理性。
• 在真实边缘环境下，相较于现有异步和同步联邦学习基线方法，在收敛速度和最终准确率方面表现更优。

提出的方法

• 通过一种丢弃机制将全局模型划分为稀疏且不重叠的子模型，每个设备独立训练参数的随机子集。
• 根据设备的计算能力分配子模型——计算能力更高的设备接收更多子模型，以加速训练。
• 通过允许设备独立更新其分配的子模型而不必等待其他设备，实现异步更新，从而减少空闲时间。
• 理论分析表明，该方法在非独立同分布数据和设备异构性条件下仍能保持收敛性，且对误差传播和模型漂移提供了理论边界。
• 该方法融合了 HogWild!（无锁更新）和独立子网络训练（IST）的原则，但创新性地将其应用于联邦学习、异步设置下的子模型分发。
• 服务器使用加权平均方案聚合来自所有设备的更新，该方案考虑了子模型的重叠情况和更新频率。

实验结果

研究问题

• RQ1 通过丢弃法进行子模型划分，是否能提升在设备异构性条件下的异步联邦学习训练效率？
• RQ2 基于子模型的异步训练与全模型同步及异步基线方法相比，在收敛速度和最终准确率方面表现如何？
• RQ3 在非独立同分布联邦学习中，异步更新下子模型训练可提供哪些理论保证？
• RQ4 通过仅分发子模型而非完整模型，是否能显著降低通信与计算开销？
• RQ5 在真实异构边缘环境中，基于设备特性的子模型分配方式如何影响收敛性和模型性能？

主要发现

• 在非独立同分布的 CIFAR-10 和 Shakespeare 数据集上，AsyncDrop 相较于同步 FedAvg 及其他异步基线方法，通信成本最高降低 40%。
• 由于减少了同步延迟并提高了子模型利用效率，AsyncDrop 在多种边缘设备配置下，平均训练时间减少高达 35%。
• 在所有评估的非独立同分布数据分布下，AsyncDrop 的最终测试准确率与 FedAvg、FedProx 及其他最先进异步方法相当或更优。
• 理论分析证实，即使在高梯度延迟（gradient staleness）条件下，该方法在非独立同分布数据下仍能保持收敛性，且误差传播在有界范围内。
• 基于设备能力的子模型分配方式相比随机或均匀分配，能实现更好的负载均衡和更快的收敛速度。
• 该方法在多次运行中表现出稳定性能，对数据偏斜程度和设备异构性的变化具有鲁棒性。