[論文レビュー] HybridDNN: A Framework for High-Performance Hybrid DNN Accelerator Design and Implementation

Hanchen Ye, Xiaofan Zhang+3 more|arXiv (Cornell University)|Apr 8, 2020

Advanced Neural Network Applications参考文献 22被引用数 5

ひとこと要約

HybridDNN は、ハイブリッド空間/Winograd畳み込み処理エンジンとマルチデータフロー対応、および自動設計探索を統合することで、FPGA 上での高性能で柔軟かつスケーラブルなDNNアクセラレータ設計を可能にするフレームワークである。VU9P では 3375.7 GOPS、PYNQ-Z1 では 83.3 GOPS を達成し、最先端のFPGAベースDNNアクセラレータと比較して 1.8倍の高い性能と 2.0倍の優れたエネルギー効率を実現した。

ABSTRACT

To speedup Deep Neural Networks (DNN) accelerator design and enable effective implementation, we propose HybridDNN, a framework for building high-performance hybrid DNN accelerators and delivering FPGA-based hardware implementations. Novel techniques include a highly flexible and scalable architecture with a hybrid Spatial/Winograd convolution (CONV) Processing Engine (PE), a comprehensive design space exploration tool, and a complete design flow to fully support accelerator design and implementation. Experimental results show that the accelerators generated by HybridDNN can deliver 3375.7 and 83.3 GOPS on a high-end FPGA (VU9P) and an embedded FPGA (PYNQ-Z1), respectively, which achieve a 1.8x higher performance improvement compared to the state-of-art accelerator designs. This demonstrates that HybridDNN is flexible and scalable and can target both cloud and embedded hardware platforms with vastly different resource constraints.

研究の動機と目的

• リソース制約が異なる多様なFPGAプラットフォームに対して、高性能でエネルギー効率の良いDNNアクセラレータを設計する課題に対処すること。
• スケーラビリティの欠如、メモリ帯域幅のボトルネック、複雑な設計フローといった、既存のFPGAベースDNNアクセラレータの限界を克服すること。
• クラウド（高リソース）およびエッジ（低リソース）の両方のFPGAプラットフォームをサポートする柔軟で自動化されたフレームワークを提供すること。
• パフォーマンス推定、設計探索、および高水準合成（HLS）を統合することで、迅速なプロトタイピングを実現する効率的なハードウェア・ソフトウェア共同設計を可能にすること。
• CONVモード（空間/Winograd）、データフロー（IS/WS）、並列化要因の自動選択を通じて最適なアクセラレータ構成を導出すること。

提案手法

• 同じハードウェアを再利用することで両方の計算モードをサポートするハイブリッド空間/Winograd畳み込みプロセッシング素子（PE）を採用し、面積オーバーヘッドを最小限に抑える。
• メモリアクセスパターンとデータ再利用を最適化するため、入力固定（IS）および重み固定（WS）の2つのデータフロー・アーキテクチャをサポートする。
• 分析的パフォーマンスモデルが、VU9P では 4.27%、PYNQ-Z1 では 4.03% の誤差でスループットとエネルギー効率を推定する。
• 設計探索（DSE）エンジンが、パフォーマンスとリソース制約に基づき、CONVモード、データフロー、並列化要因の最適な構成を自動で選択する。
• 直接FPGA実装が可能なC/C++ベースの高水準合成（HLS）コードを生成することで、迅速なカスタマイズと移植性を実現する。
• VU9P では、空間モードとWinogradモードの両方で LUT と DSP を再利用することでリソース利用効率を最適化し、ハイブリッド対応に必要な追加LUTは 26.4% にとどまる。

実験結果

リサーチクエスチョン

• RQ1 統合されたDNNアクセラレータフレームワークは、ハイパフォーマンスなクラウドFPGAとリソース制限のあるエッジFPGAの両方を効率的にサポートできるか？
• RQ2 最小限の面積オーバーヘッドで高いパフォーマンスを維持しつつ、ハイブリッド空間/Winograd畳み込みをどのように実装できるか？
• RQ3 分析的パフォーマンスモデルは、DNNアクセラレータ設計における正確で迅速な設計探索をどの程度効果的に導くことができるか？
• RQ4 従来の単一モードアクセラレータと比較して、ハイブリッドCONVモードを用いることで、どの程度のパフォーマンスおよびエネルギー効率の向上が達成できるか？
• RQ5 実世界のDNNワークロードにおいて、メモリ帯域幅が空間モードとWinogradモードの間のパフォーマンストレードオフにどのように影響するか？

主な発見

• HybridDNN が生成したアクセラレータは、ハイエンドのVU9P FPGA で 3375.7 GOPS を達成し、最先端の技術と比較して 1.8倍のパフォーマンス向上を実現した。
• エッジ向けのPYNQ-Z1 FPGA では 83.3 GOPS を達成し、エネルギー効率は 73.5 GOPS/W で、先行のFPGAベース設計と比較して 2.0倍の向上を示した。
• ハイブリッドCONV PE は、VU9P で LUT を 26.4% 過不足、DSP を追加なしに実装し、空間モードとWinogradモード間での効率的なハードウェア共有を実証した。
• 分析的パフォーマンスモデルは、VU9P では 4.27%、PYNQ-Z1 では 4.03% の推定誤差を達成し、信頼性が高く迅速な設計探索を可能にした。
• メモリ帯域幅が十分な場合、Winogradモードは空間モードを上回る性能を発揮するが、メモリ制限の状態では性能が低下するため、動的構成の重要性が浮き彫りになった。
• DSEエンジンは、VU9P におけるVGG16のすべてのCONV層に対してWinogradモードを選択した。これは、十分なメモリ帯域幅があることと一致し、ワークロード固有の制約に最適化できるというフレームワークの能力を裏付けた。