[论文解读] Helios: Heterogeneity-Aware Federated Learning with Dynamically Balanced Collaboration

Zirui Xu, Fuxun Yu+2 more|arXiv (Cornell University)|Dec 3, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用 19

一句话总结

Helios 是一种异构感知的联邦学习框架，通过动态平衡协作来识别延迟设备，并采用‘软训练’方法通过轮换神经元训练在弱设备上压缩模型，从而在非独立同分布（non-IID）设置下实现高达 2.5 倍的训练加速和高达 4.64% 的准确率提升，同时保持收敛性和学习完整性。

ABSTRACT

In this paper, we propose Helios, a heterogeneity-aware FL framework to tackle the straggler issue. Helios identifies individual devices' heterogeneous training capability, and therefore the expected neural network model training volumes regarding the collaborative training pace. For straggling devices, a "soft-training" method is proposed to dynamically compress the original identical training model into the expected volume through a rotating neuron training approach. With extensive algorithm analysis and optimization schemes, the stragglers can be accelerated while retaining the convergence for local training as well as federated collaboration.

研究动机与目标

• 为解决由边缘设备计算能力异构性引起的联邦学习中的延迟设备问题。
• 保留可能在异步或丢弃方法中丢失的延迟设备的关键学习信息。
• 在加速低资源设备训练的同时，保持全局模型的收敛性和训练完整性。
• 设计一种动态协作机制，能够根据设备特定的训练能力自适应调整，而不会导致模型压缩性能下降。

提出的方法

• Helios 使用基于时间的近似和基于资源的分析方法对设备特定的训练消耗进行分析，以识别延迟设备。
• 它引入了一种‘软训练’机制，通过在延迟设备上轮换训练不同的神经元组，动态压缩原始模型。
• 软训练方法可确保所有模型参数定期更新，从而保持模型完整性并防止不可逆的压缩。
• 应用了一种模型聚合优化方案，以减少协作过程中部分模型更新带来的准确率方差。
• 该框架通过自适应调整模型体积，在保持同步聚合的同时加速延迟设备的参与。

实验结果

研究问题

• RQ1 如何基于设备特定的计算异构性识别联邦学习中的延迟设备？
• RQ2 动态模型压缩策略是否能在加速低容量设备训练的同时，保持收敛性和学习完整性？
• RQ3 与异步或随机模型压缩相比，所提出的软训练方法在准确率和收敛速度方面表现如何？
• RQ4 Helios 在非独立同分布（non-IID）数据分布下的性能提升程度如何？

主要发现

• 与最先进方法相比，Helios 在多个 CNN 模型和数据集上实现了高达 2.5 倍的训练加速。
• 与基线方法相比，其收敛准确率最高提升 4.64%，尤其在存在多个延迟设备的场景下表现更优。
• 在非独立同分布（non-IID）设置下，Helios 保持了更高的准确率和更快的收敛速度，优于同步和异步联邦学习基线方法。
• 与无优化的软训练相比，Helios 中的模型聚合优化将准确率方差降低了高达 17.37%。
• Helios 实现了更快的收敛——在 6 台设备下，MNIST、CIFAR-10 和 CIFAR-100 分别仅需 4、12 和 40 次聚合周期即可收敛。