[论文解读] Distributed Machine Learning through Heterogeneous Edge Systems

Hanpeng Hu, Dan Wang+1 more|arXiv (Cornell University)|Nov 16, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用 4

一句话总结

本文提出ADSP，一种用于异构边缘系统中分布式机器学习的新型参数同步模型，通过允许更快的工作者在战略时间间隔内持续训练并提交更新，消除了等待时间。ADSP通过基于动量的在线搜索动态调整提交速率，确保收敛性并加速训练，相比最先进方法最多可实现62.4%的收敛速度提升。

ABSTRACT

Many emerging AI applications request distributed machine learning (ML) among edge systems (e.g., IoT devices and PCs at the edge of the Internet), where data cannot be uploaded to a central venue for model training, due to their large volumes and/or security/privacy concerns. Edge devices are intrinsically heterogeneous in computing capacity, posing significant challenges to parameter synchronization for parallel training with the parameter server (PS) architecture. This paper proposes ADSP, a parameter synchronization scheme for distributed machine learning (ML) with heterogeneous edge systems. Eliminating the significant waiting time occurring with existing parameter synchronization models, the core idea of ADSP is to let faster edge devices continue training, while committing their model updates at strategically decided intervals. We design algorithms that decide time points for each worker to commit its model update, and ensure not only global model convergence but also faster convergence. Our testbed implementation and experiments show that ADSP outperforms existing parameter synchronization models significantly in terms of ML model convergence time, scalability and adaptability to large heterogeneity.

研究动机与目标

• 解决异构边缘系统中因工作者计算和通信能力显著差异而导致的训练效率低下问题。
• 最小化现有模型中由参数同步引起的等待时间，该时间占训练时间的主导部分。
• 在最大化利用高速边缘设备的同时，确保全局模型收敛。
• 设计一种在高异构性和网络延迟环境下仍表现良好的可扩展且自适应的同步模型。
• 在收敛速度、可扩展性和对真实边缘环境的适应性方面超越现有参数同步模型。

提出的方法

• ADSP引入无等待策略，使更快的工作者在不等待较慢者的情况下持续训练。
• 通过在同步的、战略性选择的时间间隔内强制所有工作者提交模型更新，以维持收敛性。
• 基于动量的在线搜索算法计算最优全局提交速率，并动态调整各工作者的提交频率。
• 该模型将总处理能力视为每次提交的本地计算时间与通信延迟之和，从而能够同时处理计算和通信异构性。
• ADSP确保无论速度差异如何，每个工作者在长时间内大致提交相同数量的更新。
• 系统在使用多种边缘设备的真实测试平台上实现，并在真实世界AI工作负载上进行了评估。

实验结果

研究问题

• RQ1 如何优化分布式边缘学习中的参数同步，以最小化由工作者异构性引起的等待时间？
• RQ2 能否设计一种同步模型，确保全局模型收敛的同时允许更快的工作者持续训练？
• RQ3 在异构环境中，何种最优提交速率策略能平衡收敛速度与稳定性？
• RQ4 该模型在不同计算和通信异构程度下的表现如何？
• RQ5 在真实部署中，随着边缘工作者数量的增加，该模型的可扩展性如何？

主要发现

• 当异构度H = 3.2时，ADSP相比Fixed ADACOMM的收敛时间最多加快62.4%。
• 随着异构度的增加，ADSP与Fixed ADACOMM之间的性能差距进一步扩大，表明ADSP对多样化边缘设备具有更优的适应性。
• ADSP在大规模场景下仍保持快速收敛，36个工作者时显著优于Fixed ADACOMM，且随着系统规模增大，优势更加明显。
• ADSP对网络延迟具有鲁棒性：由于对通信开销的敏感度降低，其在通信延迟较高时相比基线模型的加速比进一步提升。
• ADSP的无等待策略减少了空闲时间，使高性能边缘设备得以更快利用，提升了整体系统效率。
• 通过将总处理能力视为统一指标，该模型有效应对计算和通信异构性，增强了对多样化边缘环境的适应能力。