[论文解读] GPU-based Acceleration of Deep Convolutional Neural Networks on Mobile Platforms

Seyyed Salar Latifi Oskouei, Hossein Bakhshi Golestani+4 more|arXiv (Cornell University)|Nov 23, 2015

Advanced Neural Network Applications参考文献 3被引用 11

一句话总结

本文提出了一种针对移动平台的GPU加速深度卷积神经网络（CNN）引擎，利用嵌入式GPU实现相较于仅使用CPU推理的高达60倍的加速。通过使用优化的内核将CNN计算任务卸载至GPU，该框架实现了无需依赖云服务的实时、本地设备推理，提升了移动和可穿戴应用的性能与可扩展性。

ABSTRACT

Mobile applications running on wearable devices and smartphones can greatly benefit from accurate and scalable deep CNN-based machine learning algorithms. While mobile CPU performance does not match the intensive computational requirement of deep CNNs, the embedded GPU which already exists in many mobile platforms can be leveraged for acceleration of CNN computations on the local device and without the use of a cloud service. We present a GPU-based accelerated deep CNN engine for mobile platforms with upto 60X speedup.

研究动机与目标

• 解决在移动CPU上运行深度CNN时面临的性能瓶颈，因为复杂模型对计算资源的需求过高。
• 利用移动平台中已有的嵌入式GPU，本地加速CNN推理，避免依赖云服务。
• 开发一种高效、可扩展的基于GPU的CNN引擎，专为移动和可穿戴设备设计，以支持实时应用。
• 通过GPU加速实现在资源受限的移动硬件上高精度、低延迟的推理。
• 优化GPU内核设计，以最大化吞吐量并最小化移动GPU上卷积运算的延迟。

提出的方法

• 使用自定义优化的内核，将CNN推理操作（尤其是卷积和激活函数）卸载至嵌入式GPU。
• 利用GPU的并行性，同时处理空间维度和通道维度上的多个滤波器计算。
• 实现内存访问模式，以最小化延迟并最大化移动GPU架构的带宽利用率。
• 设计轻量级运行时框架，与移动GPU驱动接口对接，并高效管理内核启动。
• 优化数据布局和分块策略，以提高缓存效率并减少全局内存访问次数。
• 将GPU加速引擎集成至移动推理流水线，以实现端到端的本地设备推理。

实验结果

研究问题

• RQ1 移动平台中的嵌入式GPU能否有效加速深度CNN推理，以实现实时性能？
• RQ2 在移动硬件上，将CNN计算从CPU卸载至GPU可实现多大程度的加速？
• RQ3 与仅使用CPU的推理相比，基于GPU的加速如何影响能效和延迟？
• RQ4 为在内存和计算资源有限的移动GPU上实现高性能，需要哪些优化？
• RQ5 所提出的GPU加速CNN引擎能否在真实世界的移动和可穿戴设备上高效部署？

主要发现

• 该GPU加速CNN引擎在移动平台上相较于仅使用CPU的推理实现了高达60倍的加速。
• 该框架使深度CNN在移动设备上实现实时推理，使本地设备AI在实际应用中成为可能。
• 通过利用嵌入式GPU，该系统减少了对云推理的依赖，提升了隐私保护和响应速度。
• 性能提升主要归因于高效的GPU内核设计和优化的内存访问模式。
• 该方案在显著降低CPU推理延迟和计算负载的同时，保持了高精度。
• 该方法具有可扩展性，可在配备嵌入式GPU的多种移动和可穿戴平台中高效部署。