[論文レビュー] Why is FPGA-GPU Heterogeneity the Best Option for Embedded Deep Neural Networks?

Walther Carballo-Hernández, Maxime Pelcat+1 more|arXiv (Cornell University)|Feb 2, 2021

Advanced Neural Network Applications参考文献 18被引用数 7

ひとこと要約

本論文は、FPGA上で直接ハードウェアマッピングを実装することでエネルギー効率の高い推論を実現し、複雑な層をGPUにオフロードする、埋め込み型ディープニューラルネットワーク（DNN）向けの異種FPGA-GPUアクセラレーションフレームワークを提案する。SqueezeNet、MobileNetV2、ShuffleNetv2で評価した結果、通信オーバーヘッドを考慮しても、GPUオンリーより12–30%のエネルギー削減と4–26%のレイテンシ削減を達成した。

ABSTRACT

Graphics Processing Units (GPUs) are currently the dominating programmable architecture for Deep Learning (DL) accelerators. The adoption of Field Programmable Gate Arrays (FPGAs) in DL accelerators is however getting momentum. In this paper, we demonstrate that Direct Hardware Mapping (DHM) of a Convolutional Neural Network (CNN) on an embedded FPGA substantially outperforms a GPU implementation in terms of energy efficiency and execution time. However, DHM is highly resource intensive and cannot fully substitute the GPU when implementing a state-of-the-art CNN. We thus propose a hybrid FPGA-GPU DL acceleration method and demonstrate that heterogeneous acceleration outperforms GPU acceleration even including communication overheads. Experimental results are conducted on a heterogeneous multi-platform setup embedding an Nvidia(R) Jetson TX2 CPU-GPU board and an Intel(R) Cyclone10GX FPGA board. The SqueezeNet, MobileNetv2, and ShuffleNetv2 mobile-oriented CNNs are experimented. We show that heterogeneous FPG-AGPU acceleration outperforms GPU acceleration for classification inference task over MobileNetv2 (12%-30% energy reduction, 4% to 26% latency reduction), SqueezeNet (21%-28% energy reduction, same latency), and ShuffleNetv2 (25% energy reduction, 21% latency reduction).

研究の動機と目的

• 制限された電力および面積予算を持つ埋め込み型ディープニューラルネットワーク（DNN）におけるエネルギー効率の高い推論の増大するニーズに対応すること。
• GPUオンリーのアクセラレーションには、強力ではあるがモバイルおよび埋め込みシステムではエネルギー効率が最適でないという限界を克服すること。
• FPGAとGPUを組み合わせることで、埋め込みDNNワークロードにおける優れたパフォーマンスと効率を達成する可能性と利点を調査すること。
• 実際の埋め込みプラットフォームにおいて通信オーバーヘッドが存在するにもかかわらず、ハイブリッドFPGA-GPUアクセラレーションがGPUオンリーのアクセラレーションを上回ることを実証すること。
• 複数の最先端のモバイル指向畳み込みニューラルネットワーク（CNN）を対象に、FPGA上での直接ハードウェアマッピング（DHM）とGPUアクセラレーションの間のトレードオフを評価すること。

提案手法

• Intel Cyclone10GX FPGA上で畳み込み層の直接ハードウェアマッピング（DHM）を実装し、エネルギー効率を最大化するとともにレイテンシを最小限に抑える。
• NVIDIA Jetson TX2プラットフォームのGPUに、複雑または最適化が不十分な層（例：ディープワイド分離畳み込み）をオフロードする。
• 計算の複雑さとリソースの可用性に基づいて、DNNモデルをFPGAとGPUの間で動的に分割する異種実行パイプラインを設計する。
• 通信オーバーヘッドを最小限に抑えるために、効率的なメモリアクセスパターンと低レイテンシ通信プロトコルを用いて、FPGAとGPU間のデータ転送を最適化する。
• Jetson TX2（CPU-GPU）とCyclone10GX FPGAを搭載したマルチプラットフォーム環境を構築し、実世界のパフォーマンスとエネルギー消費を評価する。
• 同一のワークロード下で、3つのモバイル最適化畳み込みニューラルネットワーク（SqueezeNet、MobileNetV2、ShuffleNetv2）における推論パフォーマンスをベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 FPGA上で直接ハードウェアマッピング（DHM）を実装した場合、埋め込み型DNN推論においてGPUオンリーのアクセラレーションをエネルギー効率とレイテンシの点で上回ることができるか？
• RQ2 異種埋め込みシステムにおけるFPGAとGPUのアクセラレーションを組み合わせた場合、パフォーマンスとエネルギーのトレードオフはどのようなものか？
• RQ3 FPGAとGPU間の通信オーバーヘッドは、ハイブリッドDNN推論システム全体の効率にどのように影響するか？
• RQ4 FPGA-GPUの異種性は、多様なモバイル指向CNNアーキテクチャにおける推論パフォーマンスをどの程度向上できるか？
• RQ5 システムレベルのオーバーヘッドを考慮しても、ハイブリッドFPGA-GPUアプローチはGPUオンリーのアクセラレーションを維持または上回る性能を発揮するか？

主な発見

• FPGA-GPUの異種アクセラレーションにより、MobileNetV2におけるエネルギー消費がGPUオンリーの推論と比較して12–30%削減された。
• 通信プロセッサ間の通信オーバーヘッドを考慮しても、MobileNetV2ではレイテンシが4–26%削減された。
• SqueezeNetでは、FPGA-GPUシステムがエネルギー消費を21–28%削減し、GPUオンリーのベースラインと同等のレイテンシを達成した。
• ShuffleNetv2では、異種アクセラレータを用いることでエネルギー使用量が25%削減され、レイテンシが21%削減された。
• 性能向上は、複数のモバイル最適化CNNに対して一貫しており、FPGA-GPUハイブリッドアプローチの汎用性が示された。
• 結果から、通信コストを含んでも、異種アクセラレーションがGPUオンリーのアクセラレーションを上回ることを示しており、埋め込みシステムにおけるFPGA-GPU共同設計の実現可能性が裏付けられた。