[论文解读] HierTrain: Fast Hierarchical Edge AI Learning with Hybrid Parallelism in Mobile-Edge-Cloud Computing

Deyin Liu, Xu Chen+2 more|arXiv (Cornell University)|Mar 22, 2020

IoT and Edge/Fog Computing参考文献 30被引用 6

一句话总结

HierTrain 提出了一种分层边缘人工智能训练框架，通过在设备、边缘和云层之间采用自适应混合并行化，加速了移动边缘云环境中的深度神经网络（DNN）训练。通过联合优化层级和样本级任务调度，其训练速度相比基于云的方案和以往的分层方法最高可提升6.9倍。

ABSTRACT

Nowadays, deep neural networks (DNNs) are the core enablers for many emerging edge AI applications. Conventional approaches to training DNNs are generally implemented at central servers or cloud centers for centralized learning, which is typically time-consuming and resource-demanding due to the transmission of a large amount of data samples from the device to the remote cloud. To overcome these disadvantages, we consider accelerating the learning process of DNNs on the Mobile-Edge-Cloud Computing (MECC) paradigm. In this paper, we propose HierTrain, a hierarchical edge AI learning framework, which efficiently deploys the DNN training task over the hierarchical MECC architecture. We develop a novel extit{hybrid parallelism} method, which is the key to HierTrain, to adaptively assign the DNN model layers and the data samples across the three levels of edge device, edge server and cloud center. We then formulate the problem of scheduling the DNN training tasks at both layer-granularity and sample-granularity. Solving this optimization problem enables us to achieve the minimum training time. We further implement a hardware prototype consisting of an edge device, an edge server and a cloud server, and conduct extensive experiments on it. Experimental results demonstrate that HierTrain can achieve up to 6.9x speedup compared to the cloud-based hierarchical training approach.

研究动机与目标

• 解决由于从边缘设备大规模传输数据导致的基于云的 DNN 训练高延迟和高资源开销问题。
• 克服完全去中心化的边缘训练的局限性，后者受限于移动设备和物联网设备的计算能力。
• 通过高效利用异构通信与计算资源，充分发挥三层移动边缘云架构（设备、边缘服务器和云）的潜力。
• 通过联合优化模型层与数据样本在分层系统中的分布，最小化端到端 DNN 训练时间。
• 开发一种实际可部署于硬件的框架，在真实环境中优于现有的集中式和两层训练方案。

提出的方法

• 提出一种新颖的混合并行化方法，根据资源异构性，动态地将 DNN 模型层和数据样本分配到设备、边缘服务器和云。
• 构建一个联合优化问题，用于在层粒度（模型划分）和样本粒度（数据分片）上调度 DNN 训练任务，以最小化总训练时间。
• 将通信延迟和计算负载模型整合到优化框架中，以考虑三个层级间带宽和处理能力的差异。
• 设计一种调度策略，自适应地选择模型层的最佳划分点以及在分层节点间最优的数据分发策略。
• 使用一个边缘设备、一个边缘服务器和一个云服务器构建真实硬件原型，以在真实条件下验证该框架。
• 采用混合整数规划方法求解优化问题，推导出最优的任务分配策略。

实验结果

研究问题

• RQ1 如何通过有效利用设备、边缘和云资源的分层结构，在移动边缘云环境中加速 DNN 训练？
• RQ2 如何在三个层级之间最优划分 DNN 模型层并分发数据样本，以最小化训练时间？
• RQ3 与纯模型并行或数据并行相比，混合并行化（结合模型并行与数据并行）在边缘 AI 中如何提升训练效率？
• RQ4 边缘与云之间的通信延迟对训练性能有何影响？如何通过智能调度加以缓解？
• RQ5 真实世界硬件原型能否在传统基于云的和两层训练方法上实现显著的速度提升？

主要发现

• 与基于云的分层训练方法相比，HierTrain 在 DNN 训练时间上最高可实现6.9倍的加速。
• 该框架在真实硬件部署中优于现有方法（如 JointDNN 和 JALAD），展现出更优的训练效率。
• 混合并行化策略通过平衡计算负载并最小化节点间通信开销，显著降低了训练延迟。
• 对层粒度与样本粒度调度的联合优化，实现了对移动边缘云栈中异构资源更高效的利用。
• 硬件原型证实了 HierTrain 在真实边缘 AI 工作负载中的实际可行性与性能提升。
• 所提出的调度策略能有效适应变化的网络与计算条件，在多种部署场景下均保持稳健性能。