[论文解读] GPU-based Image Analysis on Mobile Devices

Andrew Ensor, Seth Hall|arXiv (Cornell University)|Dec 14, 2011

Advanced Image and Video Retrieval Techniques参考文献 19被引用 14

一句话总结

本文通过可编程着色器在移动设备上评估了GPU加速的实时图像处理，重点研究Canny边缘检测。结果表明，将图像分析任务卸载至GPU可显著提升帧率——在三星Galaxy S2上最高达到33.8 fps，优于基于CPU的方法，凸显了现代移动GPU在设备端计算机视觉任务中日益增长的性能优势。

ABSTRACT

With the rapid advances in mobile technology many mobile devices are capable of capturing high quality images and video with their embedded camera. This paper investigates techniques for real-time processing of the resulting images, particularly on-device utilizing a graphical processing unit. Issues and limitations of image processing on mobile devices are discussed, and the performance of graphical processing units on a range of devices measured through a programmable shader implementation of Canny edge detection.

研究动机与目标

• 研究在移动设备上使用GPU加速进行实时图像处理的可行性与性能表现。
• 在一系列移动设备上对比基于GPU的图像处理与基于CPU的方法。
• 评估不同GPU架构和移动平台API对图像分析任务帧率的影响。
• 识别移动GPU图像处理中的性能瓶颈，特别是与纹理传输和着色器执行相关的问题。
• 评估将图像处理卸载至GPU在帧率提升和CPU资源释放方面的实际效益。

提出的方法

• 使用OpenGL ES 2.0着色器在移动设备的GPU上执行Canny边缘检测算法。
• 通过Android和原生相机API捕获视频预览帧，以比较不同设备平台的性能表现。
• 测量基于GPU处理的帧率，并与同一设备上基于CPU的OpenCV实现进行对比。
• 通过在纹理更新前发出非阻塞渲染命令来优化性能，以减少渲染管线中的延迟。
• 使用glTexImage2D将新图像数据上传至GPU纹理，并在传输和处理阶段进行计时。
• 在搭载不同GPU（Adreno、PowerVR、Mali、BCM2727）和CPU的多款设备上进行测试，以评估架构差异的影响。

实验结果

研究问题

• RQ1 在现代移动设备上，基于GPU的Canny边缘检测性能与基于CPU的OpenCV实现相比如何？
• RQ2 不同GPU架构（如Adreno、PowerVR、Mali）对实时图像处理帧率有何影响？
• RQ3 相机API选择（Android与原生）如何影响设备端图像处理流水线的性能？
• RQ4 GPU卸载在多大程度上提升了帧率并降低了CPU负载？
• RQ5 移动GPU在图像处理任务中的性能特征与标准图形渲染基准测试结果相比如何？

主要发现

• 搭载1.5 GHz Snapdragon S3 CPU与Mali-400 GPU的三星Galaxy S2，使用GPU着色器进行Canny边缘检测时达到33.8 fps，远超其基于CPU的14.2 fps性能。
• 搭载BCM2727 GPU的Nokia N8使用GPU着色器实现14.5 fps，表明其在常见Symbian^3 GPU架构设备上表现强劲。
• 搭载较旧PowerVR SGX535 GPU的iPhone 4使用GPU着色器实现7.6 fps，与其较低的GPU性能相符，与新设备相比表现较弱。
• 搭载Adreno 200 GPU的Nexus One仅实现3.9 fps的GPU性能，凸显了不同设备间GPU效率的显著差异。
• 搭载Adreno 205 GPU的Desire HD使用GPU着色器实现15.4 fps，相较于同一设备上基于CPU的处理方式性能提升50%。
• 搭载Adreno 200 GPU的Galaxy S实现11.3 fps的GPU处理性能，表明即使CPU相同，新一代GPU在性能上也显著优于旧款。