[論文レビュー] HG-Caffe: Mobile and Embedded Neural Network GPU (OpenCL) Inference Engine with FP16 Supporting

Zhuoran Ji|arXiv (Cornell University)|Jan 3, 2019

Advanced Neural Network Applications参考文献 13被引用数 4

ひとこと要約

HG-Caffe は、モバイルおよび組み込みデバイス向けに最適化された、OpenCL をベースにした GPU アクcelerated のディープラーニング推論エンジンであり、半精度（FP16）計算をサポートしています。CPU 推論と比較して最大 20× の高速化を達成し、ピークメモリ使用量を元の Caffe の 80% まで削減することで、Mali や Adreno GPU を搭載するエッジ AI プラットフォーム上での効率的で低消費電力のディープニューラルネットワークのデプロイを可能にします。

ABSTRACT

Breakthroughs in the fields of deep learning and mobile system-on-chips are radically changing the way we use our smartphones. However, deep neural networks inference is still a challenging task for edge AI devices due to the computational overhead on mobile CPUs and a severe drain on the batteries. In this paper, we present a deep neural network inference engine named HG-Caffe, which supports GPUs with half precision. HG-Caffe provides up to 20 times speedup with GPUs compared to the original implementations. In addition to the speedup, the peak memory usage is also reduced to about 80%. With HG-Caffe, more innovative and fascinating mobile applications will be turned into reality.

研究の動機と目的

• モバイルおよび組み込みデバイスにおける CPU ベースのディープニューラルネットワーク推論が引き起こす高い計算オーバーヘッドとバッテリー消費を軽減すること。
• 幅広く採用されているモバイル SoC アーキテクチャに適応する OpenCL を用いた、モバイル GPU を用いた効率的で汎用的なディープラーニング推論を実現すること。
• すべてのニューラルネットワークレイヤーで半精度（FP16）演算をサポートすることで、スループットの向上とメモリ使用量の削減をさらに促進すること。
• 同じ重みファイル形式とレイヤー定義を維持することで、既存の BVLC Caffe モデルとの互換性を保つこと。
• サードパーティライブラリの削除によりソフトウェアの肥大化と依存関係を低減し、エッジデプロイに適したパッケージの保守性と移植性を向上させること。

提案手法

• HG-Caffe は、保守性と移植性を向上させるためにサードパーティライブラリの依存関係を削除した BVLC Caffe のフォークとして構築されています。
• OpenCL を活用して、Mali や Adreno を含む多様なモバイル GPU アーキテクチャでの実行を可能にし、広範なハードウェア互換性を確保しています。
• フレームワークはすべてのレイヤーで完全な FP16 サポートを実装しており、メモリ帯域幅の圧迫と演算コストを低減しながらも、モデルの精度を維持しています。
• 全訓練フレームワークと比較して、前方伝搬専用モードで動作することで、ピークメモリ使用量とソフトウェアのサイズを大幅に削減しています。
• 再トレーニングを必要とせずに、BVLC Caffe から提供される事前学習済みモデルを直接利用できる、Caffe 重みファイル変換ツールが含まれています。
• GPU のスレッドスケジューリングとメモリアクセスパターンの最適化により、モバイル GPU での GPU 利用率とスループットを最大化しています。

実験結果

リサーチクエスチョン

• RQ1 汎用的なディープラーニング推論エンジンは、CPU 僅令の実行と比較して、モバイル GPU で顕著な高速化を達成できるか？
• RQ2 FP16 演算は、モバイル GPU における推論スループットとメモリ使用量の改善にどの程度寄与するか？
• RQ3 バッチサイズが異なる条件下で、Snapdragon 845 や Kirin 970 といった異なるモバイル SoC における GPU 推論の性能はどのように変化するか？
• RQ4 GPU アクセラレートで FP16 対応の推論エンジンは、既存の BVLC Caffe モデルおよび重みフォーマットと互換性を保てるか？
• RQ5 特に大規模なモデルを用いる場合、メモリ制限がモバイルデバイスの GPU 性能に及ぼす影響は何か？

主な発見

• Snapdragon 845 SoC では、GPU（FP32）推論が CPU（FP32）と比較して最大 20× の高速化を達成し、FP16 によりさらに 2× のスループット向上が得られました。
• GPU（FP32）のピークメモリ使用量は CPU（FP32）の 29.1% にまで低下し、GPU（FP16）ではさらに 20.8% まで削減されました。
• バッチサイズが 1 の場合、スタイル変換ネットワークでは GPU（FP32）が CPU（FP32）より遅くなるが、バッチサイズが大きくなると性能が著しく向上しました。
• Kirin 970 SoC では、GPU メモリの上限が 100 MB に制限されており、深層ネットワークでは頻繁なメモリスワッピングが発生し、性能が著しく低下しました。
• フレームワークにより、ピークメモリ使用量が元の BVLC Caffe の 80% まで削減され、メモリ制限のあるエッジデバイス上での効率性が向上しました。
• HG-Caffe は BVLC Caffe のモデルフォーマットを完全に保持しており、再トレーニングを伴わず事前学習済みモデルの直接デプロイが可能でした。