[论文解读] DeepWear: Adaptive Local Offloading for On-Wearable Deep Learning

Mengwei Xu, Feng Qian+4 more|arXiv (Cornell University)|Dec 1, 2017

IoT and Edge/Fog Computing参考文献 51被引用 4

一句话总结

DeepWear 是一种轻量级、上下文感知的框架，通过蓝牙将可穿戴设备上的深度学习（DL）推理任务自适应地卸载到配对的移动手持设备上，从而提升性能并降低能耗。通过智能模型分割、流水线处理和实时工作负载感知，相比仅在本地执行，其最高可实现 5.08 倍的加速和 85.5% 的能耗节省。

ABSTRACT

Due to their on-body and ubiquitous nature, wearables can generate a wide range of unique sensor data creating countless opportunities for deep learning tasks. We propose DeepWear, a deep learning (DL) framework for wearable devices to improve the performance and reduce the energy footprint. DeepWear strategically offloads DL tasks from a wearable device to its paired handheld device through local network. Compared to the remote-cloud-based offloading, DeepWear requires no Internet connectivity, consumes less energy, and is robust to privacy breach. DeepWear provides various novel techniques such as context-aware offloading, strategic model partition, and pipelining support to efficiently utilize the processing capacity from nearby paired handhelds. Deployed as a user-space library, DeepWear offers developer-friendly APIs that are as simple as those in traditional DL libraries such as TensorFlow. We have implemented DeepWear on the Android OS and evaluated it on COTS smartphones and smartwatches with real DL models. DeepWear brings up to 5.08X and 23.0X execution speedup, as well as 53.5% and 85.5% energy saving compared to wearable-only and handheld-only strategies, respectively.

研究动机与目标

• 解决在资源受限的商用现成（COTS）可穿戴设备上运行计算密集型深度学习工作负载的挑战。
• 通过消除对互联网连接的依赖并降低隐私风险，克服基于云的卸载方案的局限性。
• 利用配对手持设备（如智能手机）的近距离优势和计算能力，提升性能和能效。
• 开发一种实用、面向开发者的框架，可无缝集成到 Android 上现有的深度学习工作流中。
• 基于实时系统和网络状态，实现透明、自适应的卸载决策，以平衡延迟、能耗和资源使用。

提出的方法

• 提出上下文感知的卸载调度机制，动态评估设备负载、网络状况和应用延迟需求，实现实时卸载决策。
• 采用基于启发式的模型分割算法，将深度学习模型拆分为子模型，分别在可穿戴设备和配对手持设备上执行，以最小化数据传输开销。
• 支持部分卸载，通过识别模型内的最优分割点，减少中间张量大小和通信延迟。
• 实现流水线处理，使可穿戴设备与手持设备之间的计算和数据传输重叠，提升端到端吞吐量。
• 使用轻量级在线预测模型预测延迟和能耗，指导卸载决策，同时保持较低的运行时开销。
• 作为用户空间库部署，提供类似 TensorFlow 的 API，实现与 Android 上现有深度学习应用的无缝集成。

实验结果

研究问题

• RQ1 如何在不依赖云连接的情况下，高效地将可穿戴设备上的深度学习推理卸载到附近的移动手持设备？
• RQ2 与在可穿戴设备上本地执行相比，将深度学习任务卸载到配对手持设备的性能和能耗权衡如何？
• RQ3 如何智能优化模型分割，以最小化通信开销，同时在设备间均衡计算负载？
• RQ4 在真实可穿戴应用场景中，上下文感知调度在降低端到端延迟和提升能效方面的效果如何？
• RQ5 该卸载框架的运行时开销有多大？如何在不损害功能的前提下将其最小化？

主要发现

• 与仅在可穿戴设备上运行推理相比，DeepWear 最高可实现 5.08 倍的加速和 53.5% 的能耗节省。
• 与仅在手持设备上执行整个模型相比，DeepWear 最高可实现 23.0 倍的加速和 85.5% 的能耗节省。
• DeepWear 的运行时开销极低，系统性能分析显示，使用主动蓝牙探测时，能耗开销增加不足 5%。
• 模型分割启发式算法将计算复杂度降低至接近 O(n)，其中 n 为模型节点数，确保了良好的可扩展性。
• 由于高效的数据显示传输和流水线处理，基于蓝牙的通信开销极低（占总计算时间的 0.49% 至 4.21%）。
• 该框架在多种设备（LG Urbane、Galaxy S2、Nexus 6）和主流深度学习模型（包括 GoogLeNet 和 TextRNN）上均表现出良好的鲁棒性。