[论文解读] JointDNN: An Efficient Training and Inference Engine for Intelligent Mobile Cloud Computing Services

Amir Erfan Eshratifar, Mohammad Saeed Abrishami+1 more|arXiv (Cornell University)|Jan 25, 2018

IoT and Edge/Fog Computing被引用 12

一句话总结

JointDNN 提出了一种运行时自适应框架，将深度神经网络（DNN）的推理与训练在移动设备与云平台之间按层进行划分，以最小化延迟和能耗。通过将 DNN 计算建模为有向无环图（DAG）中的最短路径问题，并使用混合整数线性规划（MILP）优化电池电量、云负载和 QoS 约束，JointDNN 相较于仅使用云或仅使用移动设备的方法，实现了移动能耗降低 32 倍、延迟降低 18 倍。

ABSTRACT

Deep learning models are being deployed in many mobile intelligent applications. End-side services, such as intelligent personal assistants, autonomous cars, and smart home services often employ either simple local models on the mobile or complex remote models on the cloud. However, recent studies have shown that partitioning the DNN computations between the mobile and cloud can increase the latency and energy efficiencies. In this paper, we propose an efficient, adaptive, and practical engine, JointDNN, for collaborative computation between a mobile device and cloud for DNNs in both inference and training phase. JointDNN not only provides an energy and performance efficient method of querying DNNs for the mobile side but also benefits the cloud server by reducing the amount of its workload and communications compared to the cloud-only approach. Given the DNN architecture, we investigate the efficiency of processing some layers on the mobile device and some layers on the cloud server. We provide optimization formulations at layer granularity for forward- and backward-propagations in DNNs, which can adapt to mobile battery limitations and cloud server load constraints and quality of service. JointDNN achieves up to 18 and 32 times reductions on the latency and mobile energy consumption of querying DNNs compared to the status-quo approaches, respectively.

研究动机与目标

• 为解决仅使用移动设备或仅使用云平台进行 DNN 推理与训练时存在的低效问题，如高延迟、高能耗或通信开销过大。
• 实现实时约束（如电池电量、网络状况和云服务器负载）下的自适应、运行时 DNN 层计算划分，动态分配计算任务于移动设备与云之间。
• 通过使用 PNG 基于的切片与压缩技术，对中间层输出进行压缩，降低通信成本及移动设备与云平台的工作负载。
• 支持多种 DNN 架构（包括 CNN、RNN 和自编码器），突破以往工具如 Neurosurgeon 的限制。
• 提供统一的优化框架，利用混合整数线性规划（MILP）平衡延迟、能耗与服务质量（QoS）。

提出的方法

• JointDNN 将 DNN 建模为有向无环图（DAG），其中每个节点代表一个层，边表示数据流，从而实现移动设备与云平台之间的层级计算划分。
• 将最优划分问题建模为 DAG 中的最短路径问题，引入移动电池电量、云拥塞和 QoS 等约束，使问题变为 NP 完全问题，可通过 MILP 求解。
• 采用基于图的方法处理复杂架构（如 ResNet 和 RNN），支持多跳执行模式（如移动-云-移动），超越单一切换模型的限制。
• 中间层输出通过基于 PNG 的切片技术进行压缩，将多个特征图通道并排排列为二维矩阵，以提升压缩效率。
• 压缩比（CR）计算为原始层大小（8 位）与压缩后 PNG 大小的比值，AlexNet 和 VGG16 分别实现最高 5.8 倍和 3.5 倍的平均增益。
• MILP 建模整合了压缩成本与通信开销，实现推理与训练阶段端到端的延迟与能耗优化。

实验结果

研究问题

• RQ1 与固定策略的仅移动设备或仅云平台方案相比，移动与云之间动态的、基于层的 DNN 推理划分是否能有效降低延迟与能耗？
• RQ2 在移动-云 DNN 执行中，中间层压缩的引入如何影响通信成本与整体系统效率？
• RQ3 对于 CNN、RNN 和自编码器等不同 DNN 架构，最优执行模式（如移动-云、云-移动或多跳）是什么？
• RQ4 在实时约束（如电池电量、云负载、QoS）下，基于 MILP 的优化在不同 DNN 工作负载中能多大程度上提升系统性能？
• RQ5 JointDNN 方法在复杂架构（如 ResNet 和生成模型）中如何扩展？相较于 prior 工具如 Neurosurgeon，其在刚性执行假设下的局限性是否得以克服？

主要发现

• 与仅使用云平台的推理相比，JointDNN 将移动设备能耗降低了最多 32 倍，显著延长了移动应用的电池续航时间。
• 与现有云平台方案相比，延迟降低了最多 18 倍，提升了实时服务的响应速度。
• 基于 PNG 的切片与压缩技术将中间层通信量降低最多 5.8 倍（AlexNet）和 3.5 倍（VGG16），当压缩被整合进优化流程时，能耗效率额外提升 4.9 倍。
• 该框架支持多种执行模式，包括移动-云-移动和云-移动序列，这些模式在在线训练与生成模型中常见，而以往工具仅假设单一切换执行模式。
• 基于 MILP 的优化框架成功平衡了电池电量、云负载与 QoS 多重约束，展现出在不同部署场景下的适应能力。
• JointDNN 在广度与适应性方面优于 Neurosurgeon，支持 RNN 与自编码器等复杂架构，同时支持层间优化与多点数据传输。