[论文解读] FLuID: Mitigating Stragglers in Federated Learning using Invariant Dropout

Irène Wang, Prashant J. Nair+1 more|arXiv (Cornell University)|Jul 5, 2023

Privacy-Preserving Technologies in DataComputer Science被引用 3

一句话总结

FLuID 引入了不变丢弃（Invariant Dropout），一种动态子模型剪枝技术，通过识别并排除联邦学习中对模型影响较小的不变神经元，减轻慢速设备的计算负载。通过利用非慢速设备的更新来实时分析并自适应调整子模型，FLuID 在保持模型效率的同时，将训练速度提升最高达18%，且准确率优于当前最先进方法，同时最小化了开销。

ABSTRACT

Federated Learning (FL) allows machine learning models to train locally on individual mobile devices, synchronizing model updates via a shared server. This approach safeguards user privacy; however, it also generates a heterogeneous training environment due to the varying performance capabilities across devices. As a result, straggler devices with lower performance often dictate the overall training time in FL. In this work, we aim to alleviate this performance bottleneck due to stragglers by dynamically balancing the training load across the system. We introduce Invariant Dropout, a method that extracts a sub-model based on the weight update threshold, thereby minimizing potential impacts on accuracy. Building on this dropout technique, we develop an adaptive training framework, Federated Learning using Invariant Dropout (FLuID). FLuID offers a lightweight sub-model extraction to regulate computational intensity, thereby reducing the load on straggler devices without affecting model quality. Our method leverages neuron updates from non-straggler devices to construct a tailored sub-model for each straggler based on client performance profiling. Furthermore, FLuID can dynamically adapt to changes in stragglers as runtime conditions shift. We evaluate FLuID using five real-world mobile clients. The evaluations show that Invariant Dropout maintains baseline model efficiency while alleviating the performance bottleneck of stragglers through a dynamic, runtime approach.

研究动机与目标

• 解决由于设备异构性导致的联邦学习中慢速设备引发的性能瓶颈。
• 通过动态适应客户端能力来调整子模型，实现在不损害模型准确率的前提下减少训练延迟。
• 开发一种轻量级、运行时自适应的框架，根据慢速设备状态变化实时重新校准子模型。
• 通过仅选择性地丢弃不变神经元而非整个客户端或固定模型部分，维持客户端贡献并避免训练偏差。

提出的方法

• 不变丢弃通过识别在训练迭代过程中权重更新最小（即不变）的神经元，来定位对模型性能贡献较小的神经元。
• 服务器利用非慢速客户端的更新来检测这些不变神经元，避免依赖慢速客户端的数据。
• 基于客户端训练时间和更新幅度计算动态丢弃阈值，以确定每个慢速客户端的子模型大小。
• 框架在训练过程中定期重新校准子模型，以适应电池耗竭或网络波动等运行时变化。
• 通过丢弃低于阈值的神经元构建子模型，确保仅高影响力神经元由慢速客户端训练。
• 校准过程集中于服务器执行，最大限度减少边缘设备的开销，总运行时成本控制在训练时间的5%以内。

Figure 1 : Straggler’s impact on FL performance. In synchronous FL, all clients, including stragglers, participate in global model aggregation.

实验结果

研究问题

• RQ1 如何动态识别并排除低影响神经元，以减轻联邦学习中慢速设备的计算负载？
• RQ2 基于神经元更新不变性的子模型剪枝策略是否能在提升训练效率的同时保持模型准确率？
• RQ3 对运行时慢速设备状态变化的适应能力如何影响异构联邦系统中的训练速度与收敛性？
• RQ4 与静态或随机子模型剪枝相比，不变丢弃在准确率和性能提升方面表现如何？
• RQ5 该框架能否在具有不同计算能力且慢速行为动态变化的大量客户端环境中实现可扩展性？

主要发现

• FLuID 在多个真实世界移动客户端上，相较于基线同步联邦学习，训练时间最高提升18%。
• 即使在训练过程中慢速客户端性能波动，FLuID 仍比使用静态慢速客户端集合的方法将训练时间减少14%至18%。
• 不变丢弃优于有序丢弃和随机丢弃，在基准数据集上准确率最高提升1.4个百分点。
• FLuID 的校准开销低于总训练时间的5%，证明了其轻量化特性。
• 当20%的客户端为慢速设备时，FLuID 仍保持高模型准确率，优于完全排除慢速客户端的方法。
• 通过客户端采样，FLuID 在1000个模拟客户端场景下表现出良好可扩展性，展现了在大规模、动态环境中的鲁棒性。

(a) The per-epoch training time of client devices in log scale.