[論文レビュー] GPU-based Acceleration of Deep Convolutional Neural Networks on Mobile Platforms

Seyyed Salar Latifi Oskouei, Hossein Bakhshi Golestani+4 more|arXiv (Cornell University)|Nov 23, 2015

Advanced Neural Network Applications参考文献 3被引用数 11

ひとこと要約

本論文は、埋め込みGPUを活用して、モバイルプラットフォーム向けにGPUアクセラレーテッドなディープ畳み込みニューラルネットワーク（CNN）エンジンを提示する。CPUオンリーフレームワークに比べて最大60倍の高速化を達成する。最適化されたカーネルを用いてCNN計算をGPUにオフロードすることで、クラウド依存なしにリアルタイムでデバイス内での推論を実現し、モバイルおよびウェアラブルアプリケーションにおけるパフォーマンスとスケーラビリティを向上させる。

ABSTRACT

Mobile applications running on wearable devices and smartphones can greatly benefit from accurate and scalable deep CNN-based machine learning algorithms. While mobile CPU performance does not match the intensive computational requirement of deep CNNs, the embedded GPU which already exists in many mobile platforms can be leveraged for acceleration of CNN computations on the local device and without the use of a cloud service. We present a GPU-based accelerated deep CNN engine for mobile platforms with upto 60X speedup.

研究の動機と目的

• 複雑なモデルの計算要求に対応できないモバイルCPU上でディープCNNを実行する際のパフォーマンスボトルネックを解消すること。
• モバイルプラットフォームに既存の埋め込みGPUを活用し、ローカルでCNN推論を高速化することで、クラウドサービスへの依存を回避すること。
• リアルタイムアプリケーションをサポートするため、モバイルおよびウェアラブルデバイスに最適化された効率的でスケーラブルなGPUベースのCNNエンジンを開発すること。
• GPUアクセラレーションにより、リソース制限のあるモバイルハードウェアでも高精度で低レイテンシの推論を実現すること。
• 限られたメモリと計算リソースを有するモバイルGPU上で畳み込み演算のスループットを最大化し、レイテンシを最小限に抑えるためのGPUカーネル設計を最適化すること。

提案手法

• カスタム最適化カーネルを用いて、特に畳み込み演算と活性化関数を埋め込みGPUにオフロードする。
• GPUの並列処理能力を活用し、空間的およびチャネル次元において複数のフィルタ計算を同時に処理する。
• モバイルGPUアーキテクチャ上でレイテンシを最小限に抑え、帯域幅を最大限に活用するメモリアクセスパターンを実装する。
• モバイルGPUドライバとインタフェースをとる軽量なランタイムフレームワークを設計し、カーネル起動を効率的に管理する。
• キャッシュ効率を向上させ、グローバルメモリアクセスを減らすために、データレイアウトとタイリング戦略を最適化する。
• GPUアクセラレーテッドエンジンをモバイル推論パイプラインに統合し、エンドツーエンドのデバイス内推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モバイルプラットフォームの埋め込みGPUは、リアルタイムパフォーマンスを達成するためにディープCNN推論を効果的に加速できるか？
• RQ2 モバイルハードウェア上でCPUからGPUにCNN計算をオフロードすることで、どの程度の高速化が達成できるか？
• RQ3 CPUオンリーフレームワークに比べて、GPUベースのアクセラレーションはエネルギー効率とレイテンシにどのように影響を与えるか？
• RQ4 制限されたメモリと計算リソースを有するモバイルGPU上で高性能を達成するために、どのような最適化が必要か？
• RQ5 提案されたGPUアクセラレーテッドCNNエンジンは、実際のモバイルおよびウェアラブルデバイスに効率的にデプロイ可能か？

主な発見

• GPUアクセラレーテッドCNNエンジンは、モバイルプラットフォーム上でCPUオンリーフレームワークに比べて最大60倍の高速化を達成した。
• このフレームワークにより、モバイルデバイス上でディープCNNのリアルタイム推論が可能となり、実世界のアプリケーションにおけるデバイス内AIの実用化が可能になった。
• 埋め込みGPUを活用することで、クラウドベースの推論への依存が低減され、プライバシーと応答性が向上した。
• パフォーマンス向上の主な要因は、効率的なGPUカーネル設計と最適化されたメモリアクセスパターンに起因する。
• このソリューションは高い精度を維持しながら、CPU上の推論レイテンシと計算負荷を顕著に低減した。
• このアプローチはスケーラブルであり、埋め込みGPUを搭載する多様なモバイルおよびウェアラブルプラットフォームへの展開が可能である。