[论文解读] MobiRNN: Efficient Recurrent Neural Network Execution on Mobile GPU

Qingqing Cao, Niranjan Balasubramanian+1 more|arXiv (Cornell University)|Jun 3, 2017

Context-Aware Activity Recognition Systems参考文献 8被引用 10

一句话总结

MobiRNN 是一种面向移动设备的优化框架，利用 Android 的 RenderScript 运行时，实现了在智能手机上对循环神经网络（RNN）推理的高效 GPU 卸载。与仅使用 CPU 执行相比，该框架在活动识别 RNN 上实现了超过 4 倍的延迟降低，优于针对桌面 GPU 设计的卸载技术，后者在移动硬件上性能会下降。

ABSTRACT

In this paper, we explore optimizations to run Recurrent Neural Network (RNN) models locally on mobile devices. RNN models are widely used for Natural Language Processing, Machine Translation, and other tasks. However, existing mobile applications that use RNN models do so on the cloud. To address privacy and efficiency concerns, we show how RNN models can be run locally on mobile devices. Existing work on porting deep learning models to mobile devices focus on Convolution Neural Networks (CNNs) and cannot be applied directly to RNN models. In response, we present MobiRNN, a mobile-specific optimization framework that implements GPU offloading specifically for mobile GPUs. Evaluations using an RNN model for activity recognition shows that MobiRNN does significantly decrease the latency of running RNN models on phones.

研究动机与目标

• 为解决由于隐私和连接性限制导致的移动设备上缺乏高效的本地 RNN 推理问题。
• 克服现有针对 CNN 优化的移动深度学习框架在 RNN 上的局限性，因为 RNN 受到序列依赖性的制约。
• 设计一种适用于移动设备的 GPU 卸载解决方案，可在资源受限的移动 GPU（核心数和内存有限）上高效运行。
• 在真实移动设备上，评估不同模型复杂度和 GPU 工作负载下的 GPU 卸载性能。
• 提供一个实用的、开源的框架，用于在移动平台上高效部署 RNN。

提出的方法

• MobiRNN 使用 Android 的 RenderScript 运行时，自动将 RNN 计算并行化到移动 GPU 核心上，无需手动编写并行化逻辑。
• 它将长短期记忆（LSTM）网络推理卸载到移动 GPU 上，利用 RenderScript 的数据并行执行模型。
• 该框架支持多层 LSTM 模型，并根据模型大小和设备约束，动态管理内存和计算资源。
• 性能评估基于真实移动设备（Nexus 5 和 Nexus 6P）上的活动识别 RNN 模型，使用传感器输入数据。
• 通过 ADB 脚本和 GPU API 监控 GPU 使用率，以评估并发工作负载对推理延迟的影响。
• 实现包含 GPU 和 CPU 执行模式，其中 CPU 模式通过 RenderScript 实现多线程执行，以确保公平比较。

实验结果

研究问题

• RQ1 与仅使用 CPU 执行相比，GPU 卸载是否能显著降低移动设备上的 RNN 推理延迟？
• RQ2 在移动 GPU 上的 GPU 卸载性能与为更大、更强大硬件设计的桌面 GPU 卸载技术相比如何？
• RQ3 模型复杂度（以隐藏单元数量或层数衡量）如何影响 GPU 卸载带来的加速比？
• RQ4 并发 GPU 工作负载（如图形渲染）在多大程度上影响移动 GPU 上 RNN 推理的性能？
• RQ5 多线程 CPU 执行是否可作为移动设备上 RNN 推理的 GPU 卸载的可行替代方案？

主要发现

• 与仅使用 CPU 执行相比，MobiRNN 在移动设备上将 RNN 推理延迟降低了 4 倍以上，显著提升了实时性能。
• 为桌面 GPU 设计的 GPU 卸载技术在移动设备上性能下降约 4 倍，凸显了针对移动设备进行专门优化的必要性。
• GPU 卸载带来的加速比取决于设备类型、模型复杂度和 GPU 使用率，当隐藏单元数量较高时，性能会因内存带宽限制而趋于饱和。
• 多线程 CPU 执行可实现 GPU 卸载至少 70% 的性能收益，表明在某些场景下，CPU 并行化是 GPU 卸载的有力替代方案。
• 当 GPU 使用率超过 70% 时，GPU 卸载的优势显著降低，某些情况下，CPU 执行甚至比 GPU 执行更快。
• 该框架表明，GPU 卸载在低到中等 GPU 负载下最为有效，应根据实时 GPU 使用率动态管理。