[論文レビュー] GPU-based Image Analysis on Mobile Devices

Andrew Ensor, Seth Hall|arXiv (Cornell University)|Dec 14, 2011

Advanced Image and Video Retrieval Techniques参考文献 19被引用数 14

ひとこと要約

本論文は、プログラマブルシェーダーを用いたモバイルデバイスにおけるGPUアクセラレート型リアルタイム画像処理を評価し、Cannyエッジ検出に焦点を当てている。GPUに画像解析をオフロードすることで、フレームレートが著しく向上することを示しており、Samsung Galaxy S2では最大33.8 fpsを達成した。これはCPUベースの手法を上回り、現代のモバイルGPUがデバイス内コンピュータビジョンタスクにおいてますます大きな性能優位性を発揮していることを示している。

ABSTRACT

With the rapid advances in mobile technology many mobile devices are capable of capturing high quality images and video with their embedded camera. This paper investigates techniques for real-time processing of the resulting images, particularly on-device utilizing a graphical processing unit. Issues and limitations of image processing on mobile devices are discussed, and the performance of graphical processing units on a range of devices measured through a programmable shader implementation of Canny edge detection.

研究の動機と目的

• GPUアクセラレーションを用いたモバイルデバイスにおけるリアルタイム画像処理の実現可能性と性能を調査すること。
• さまざまなモバイルデバイスにおけるGPUベースの画像処理とCPUベースのアプローチを比較すること。
• GPUアーキテクチャおよびモバイルプラットフォームAPIの違いが、画像解析タスクのフレームレートに与える影響を評価すること。
• 特にテクスチャ転送およびシェーダー実行に関連する、モバイルGPU画像処理における性能ボトルネックを同定すること。
• CPUリソースの可用性の向上という観点から、画像処理をGPUにオフロードすることによる実用的利点を評価すること。

提案手法

• モバイルデバイス上でGPU実行を可能にするOpenGL ES 2.0シェーダーを用いて、Cannyエッジ検出アルゴリズムを実装した。
• AndroidおよびネイティブカメラAPIを用いて動画プレビューのフレームをキャプチャし、異なるデバイスプラットフォーム間でのパフォーマンスを比較した。
• 同じデバイス上でGPUベース処理のフレームレートを測定し、CPUベースのOpenCV実装と比較した。
• レンダリングパイプラインの遅延を低減するため、テクスチャ更新の前に非ブロッキングレンダラーコマンドを発行することでパフォーマンスを最適化した。
• glTexImage2Dを用いて新しい画像データをGPUテクスチャにアップロードし、転送および処理フェーズのタイミングを測定した。
• 異なるGPU（Adreno、PowerVR、Mali、BCM2727）およびCPUを搭載した複数のデバイスを用いて、アーキテクチャの差異を評価した。

実験結果

リサーチクエスチョン

• RQ1 現代のモバイルデバイスにおいて、GPUベースのCannyエッジ検出性能はCPUベースのOpenCV実装と比べてどのように異なるか？
• RQ2 GPUアーキテクチャの違い（例：Adreno、PowerVR、Mali）が、リアルタイム画像処理のフレームレートに与える影響は何か？
• RQ3 カメラAPIの選択（Android対比ネイティブ）が、デバイス内画像処理パイプラインのパフォーマンスに与える影響は何か？
• RQ4 GPUオフロードが、モバイル画像解析ワークロードにおけるフレームレートの向上およびCPU負荷の低減にどの程度寄与するか？
• RQ5 モバイルGPUの画像処理性能は、標準的なグラフィックスレンダリングベンチマークと比べてどのように異なるか？

主な発見

• 1.5 GHzのSnapdragon S3 CPUとMali-400 GPUを搭載するSamsung Galaxy S2では、Cannyエッジ検出にGPUシェーダーを用いることで33.8 fpsを達成した。これはCPUベース処理の14.2 fpsを大きく上回った。
• BCM2727 GPUを搭載するNokia N8は、GPUシェーダーを用いて14.5 fpsを達成し、一般的なSymbian^3 GPUアーキテクチャでも高いパフォーマンスを示した。
• 古いPowerVR SGX535 GPUを搭載するiPhone 4は、GPUシェーダーで7.6 fpsを達成した。これは、最新のデバイスと比較してGPU性能が低いことを裏付けている。
• Adreno 200 GPUを搭載するNexus Oneは、GPU性能が低く、3.9 fpsにとどまった。これは、デバイス間でのGPU効率の顕著な差異を示している。
• Adreno 205 GPUを搭載するDesire HDは、GPUシェーダーで15.4 fpsを達成し、同じデバイスでCPUベース処理と比較して50％のパフォーマンス向上を達成した。
• Adreno 200 GPUを搭載するGalaxy Sは、GPUシェーダーで11.3 fpsを達成した。これは、同じCPUでも最新のGPU世代が著しく優れた性能を発揮することを示している。