[论文解读] FTPipeHD: A Fault-Tolerant Pipeline-Parallel Distributed Training Framework for Heterogeneous Edge Devices

Yuhao Chen, Qianqian Yang+3 more|arXiv (Cornell University)|Oct 6, 2021

IoT and Edge/Fog Computing参考文献 39被引用 4

一句话总结

FTPipeHD 是一种针对异构边缘设备的容错、流水线并行分布式训练框架，能够根据设备实时计算能力动态优化模型划分，并通过周期性参数重分布实现设备故障后的快速恢复。在高异构性环境下，其训练速度比当前最先进方法快 6.8 倍，且在设备故障期间仍能保持性能。

ABSTRACT

With the increased penetration and proliferation of Internet of Things (IoT) devices, there is a growing trend towards distributing the power of deep learning (DL) across edge devices rather than centralizing it in the cloud. This development enables better privacy preservation, real-time responses, and user-specific models. To deploy deep and complex models to edge devices with limited resources, model partitioning of deep neural networks (DNN) model is necessary, and has been widely studied. However, most of the existing literature only considers distributing the inference model while still relying centralized cloud infrastructure to generate this model through training. In this paper, we propose FTPipeHD, a novel DNN training framework that trains DNN models across distributed heterogeneous devices with fault tolerance mechanism. To accelerate the training with time-varying computing power of each device, we optimize the partition points dynamically according to real-time computing capacities. We also propose a novel weight redistribution approach that replicates the weights to both the neighboring nodes and the central node periodically, which combats the failure of multiple devices during training while incurring limited communication cost. Our numerical results demonstrate that FTPipeHD is 6.8x faster in training than the state of the art method when the computing capacity of the best device is 10x greater than the worst one. It is also shown that the proposed method is able to accelerate the training even with the existence of device failures.

研究动机与目标

• 为解决集中式云训练在物联网应用中带来的隐私、延迟和个性化问题。
• 通过在多个异构设备间分布训练，实现在资源受限边缘设备上的端到端 DNN 训练。
• 应对边缘环境中设备动态可用性和计算能力差异带来的挑战。
• 在分布式训练中实现容错，且设备故障时通信开销最小化。
• 通过动态模型划分和相邻节点与中心节点间的高效参数复制，加速训练。

提出的方法

• 根据每个边缘设备当前的计算能力实时调整模型划分点，以平衡工作负载并加速训练。
• 提出一种新型参数重分布机制，定期将模型参数复制到相邻工作节点和中心节点。
• 采用流水线并行机制，将前向和反向传播分布在多个设备上，实现各阶段的并行计算。
• 通过链式复制和全局复制实现容错：若某设备故障，其相邻节点和中心节点可立即接管其工作负载。
• 通过仅在周期性间隔内进行参数复制，而非每批次传输，最小化通信开销。
• 通过在边缘设备上使用新数据进行增量模型更新，支持持续学习，避免过拟合。

实验结果

研究问题

• RQ1 如何在计算能力各异且随时间变化的异构边缘设备上加速分布式 DNN 训练？
• RQ2 何种机制可在流水线并行训练中实现容错，同时避免高昂的通信开销？
• RQ3 如何在保持模型性能的前提下，通过端到端训练保护隐私并支持实时推理？
• RQ4 在高设备异构性条件下，动态模型划分能在多大程度上提升训练速度？
• RQ5 所提出的参数重分布方案在设备故障后恢复性能的效率如何，性能下降是否可忽略？

主要发现

• 当最快设备比最慢设备快 10 倍时，FTPipeHD 的训练速度相比最先进方法快 6.8 倍。
• 设备故障后，FTPipeHD 仅需 2.24 秒恢复时间，而 ResPipe 需 59.18 分钟才能完成一个训练周期。
• FTPipeHD 故障恢复后，每批次训练时间几乎不变；而 ResPipe 的训练时间显著增加并长期维持在高位。
• 与 ResPipe 相比，所提出的容错机制将故障后训练时间减少 6.9 倍，使恢复成本在实际应用中可忽略不计。
• 在三台 Raspberry Pi 设备上，FTPipeHD 通过 10% 的数据流成功实现持续学习，随时间推移使模型准确率恢复至微调前水平。
• 单设备训练在 499 个批次后因内存限制失败，验证了在边缘设备上采用分布式训练的必要性。