[论文解读] ELFISH: Resource-Aware Federated Learning on Heterogeneous Edge Devices.

Zirui Xu, Yang Zhao+3 more|arXiv (Cornell University)|Dec 3, 2019

Privacy-Preserving Technologies in Data参考文献 7被引用 51

一句话总结

ELFISH 是一种资源感知的联邦学习框架，通过在训练过程中动态屏蔽计算密集型神经元，并采用新颖的参数聚合方案恢复这些神经元，从而在异构边缘设备上加速训练。该框架在消除计算慢速节点的同时确保协同收敛，实现了最高达2倍的训练加速和4%更高的准确率。

ABSTRACT

In this work, we propose ELFISH - a resource-aware federated learning framework to tackle computation stragglers in federated learning. In ELFISH, neural network models' training consumption will be firstly profiled in terms of different computation resources. Guided by profiling, a method is proposed for straggler acceleration, which partially trains the model by masking a particular number of resource-intensive neurons. Rather than generating a deterministically optimized model with diverged structure, different sets of neurons will be dynamically masked every training cycle and will be recovered and updated during parameter aggregation, ensuring comprehensive model updates overtime. The corresponding parameter aggregation scheme is also proposed to balance the contribution from soft-trained models and guarantee the collaborative convergence. Eventually, ELFISH overcomes the computational heterogeneity of edge devices and achieves synchronized collaboration without computational stragglers. Experiments show that ELFISH can provide up to 2x training acceleration with soft-training in various straggler settings. Furthermore, benefited from the proposed parameter aggregation scheme, ELFISH improves the model accuracy for 4% with even better collaborative convergence robustness.

研究动机与目标

• 解决由设备异构性引起的联邦学习中的计算慢速节点问题。
• 实现计算资源各异的边缘设备之间的同步协作。
• 设计一种参数聚合方案，以平衡部分训练模型的贡献。
• 在不改变模型结构的前提下，提升模型准确率和收敛鲁棒性。
• 通过动态神经元屏蔽实现软训练，显著加速训练过程。

提出的方法

• 对神经网络模型进行性能分析，量化不同资源下的计算消耗。
• 在每个训练周期中动态屏蔽部分计算密集型神经元，以降低计算负载。
• 在参数聚合过程中恢复并更新被屏蔽的神经元，以确保模型更新的完整性。
• 提出一种平衡软训练模型贡献的参数聚合方案。
• 采用加权聚合策略，综合考虑模型更新质量和设备贡献度。
• 通过在计算负载各异的设备间保持模型一致性，实现协同收敛。

实验结果

研究问题

• RQ1 如何在异构边缘设备上的联邦学习中缓解计算慢速节点问题？
• RQ2 何种动态屏蔽策略可实现高效软训练，同时避免结构偏差？
• RQ3 参数聚合如何在处理部分训练模型的同时保持模型准确率？
• RQ4 动态屏蔽在多大程度上提升了训练速度和收敛鲁棒性？
• RQ5 资源感知训练是否能在联邦学习中同时实现加速和准确率提升？

主要发现

• ELFISH 通过动态神经元屏蔽，在各种慢速节点场景下实现了最高达2倍的训练加速。
• 与基线方法相比，该框架将模型准确率提升了4%。
• 所提出的参数聚合方案增强了协同收敛的鲁棒性。
• 动态屏蔽实现了在计算能力各异的设备间同步训练。
• 通过神经元屏蔽实现的软训练保持了模型完整性，避免了结构偏差。
• ELFISH 在真实边缘环境中有效平衡了计算效率与模型性能。