[論文レビュー] Towards Ultra-High Performance and Energy Efficiency of Deep Learning Systems: An Algorithm-Hardware Co-Optimization Framework

Yanzhi Wang, Caiwen Ding+9 more|arXiv (Cornell University)|Feb 18, 2018

CCD and CMOS Imaging Sensors参考文献 2被引用数 14

ひとこと要約

本論文は、一般化ブロック巡回行列を用いて、計算量と記憶容量の複雑さをそれぞれO(n²)からO(n log n)およびO(n)に低減することで、高精度を維持したまま、FPGA上で超高速かつ高エネルギー効率なディープラーニングを実現するアルゴリズム・ハードウェア共同最適化フレームワークを提示する。このフレームワークは、IBM TrueNorthと比較して最大152倍の高速化と71倍のエネルギー効率向上を達成し、参照FPGA実装と比較して31倍の向上を示す。これは、オンチップでのモデル保存と、ディープパイipelニングおよびバッチ処理による効率的なハードウェアマッピングを可能にすることで実現される。

ABSTRACT

Hardware accelerations of deep learning systems have been extensively investigated in industry and academia. The aim of this paper is to achieve ultra-high energy efficiency and performance for hardware implementations of deep neural networks (DNNs). An algorithm-hardware co-optimization framework is developed, which is applicable to different DNN types, sizes, and application scenarios. The algorithm part adopts the general block-circulant matrices to achieve a fine-grained tradeoff between accuracy and compression ratio. It applies to both fully-connected and convolutional layers and contains a mathematically rigorous proof of the effectiveness of the method. The proposed algorithm reduces computational complexity per layer from O($n^2$) to O($n\log n$) and storage complexity from O($n^2$) to O($n$), both for training and inference. The hardware part consists of highly efficient Field Programmable Gate Array (FPGA)-based implementations using effective reconfiguration, batch processing, deep pipelining, resource re-using, and hierarchical control. Experimental results demonstrate that the proposed framework achieves at least 152X speedup and 71X energy efficiency gain compared with IBM TrueNorth processor under the same test accuracy. It achieves at least 31X energy efficiency gain compared with the reference FPGA-based work.

研究の動機と目的

• モバイル機器やIoTデバイスなどのリソース制限のある環境における、深層ニューラルネットワーク（DNN）の増大する計算およびエネルギー要件に対処すること。
• 不規則なスパarsity、トレーニングの複雑さの増加、ヒューリスティックな圧縮係数といった、既存のモデル圧縮技術の限界を克服し、精度-圧縮トレードオフに対して数学的に厳密で、細分化された制御を可能にすること。
• アルゴリズム的およびハードウェア的最適化を統合することで、FPGAベースのDNNアクセラレータにおいて、超高速かつ高エネルギー効率を実現すること。
• モデルサイズを著しく削減することで、オンチップメモリに全モデルを格納可能とし、高価なオフチップメモリアクセスを最小限に抑えること。
• 全結合層および畳み込み層を含む、さまざまなDNNタイプ、サイズ、応用シナリオに適用可能なスケーラブルで汎用性の高いフレームワークを構築すること。

提案手法

• アルゴリズムは、全結合層および畳み込み層の両方を圧縮するために一般化ブロック巡回行列を用い、モデルの精度と圧縮率の間で細分化されたトレードオフを可能にする。
• 高速フーリエ変換（FFT）および逆高速フーリエ変換（IFFT）を用いて行列乗算を再定式化し、これらの演算を分離することで複雑さを低減し、効率的なハードウェアマッピングを可能にする。
• 圧縮されたDNNが元のネットワークと同等の有効性に漸近的に収束することを数学的に厳密に証明する。
• トレーニングおよび推論の両方において、計算複雑さをO(n²)からO(n log n)、記憶複雑さをO(n²)からO(n)に低減する。
• FPGAベースのアクセラレータを用いたハードウェア実装では、ディープパイプライン、バッチ処理、動的再構成、リソース再利用、階層的制御を活用し、スループットとエネルギー効率を最大化する。
• 設計により、DNN全体のモデルがオンチップブロックメモリに収容され、オフチップメモリアクセスが排除され、エネルギー効率が著しく向上する。

実験結果

リサーチクエスチョン

• RQ1 全結合層および畳み込み層を含む多様なDNN層において、一貫したアルゴリズム的アプローチが、高圧縮率と低計算複雑さを両立できるか？
• RQ2 ブロック巡回行列の使用により、元のDNNの性能に数学的に証明可能な収束を実現すると同時に、精度と圧縮率の間で細分化された制御が可能になるか？
• RQ3 オンチップでのモデル保存によりオフチップメモリアクセスを最小限に抑えることで、FPGAベースのハードウェアアクセラレータが超高エネルギー効率を達成できるか？
• RQ4 アルゴリズム的圧縮とハードウェア共同設計が、IBM TrueNorth や参照FPGA実装といった最先端アクセラレータと比較して、性能およびエネルギー効率の面でどれほど優れているか？
• RQ5 本提案フレームワークは、新興のアナログ型およびデバイスレベルのDNNアクセラレータと比較して、エネルギー効率およびスループットの面でどのように差をつけるか？

主な発見

• 提案フレームワークは、同じテスト精度下で、IBM TrueNorthと比較して少なくとも152倍のスループット向上と71倍のエネルギー効率向上を達成した。
• 参照FPGAベースの実装と比較して、最小で31倍のエネルギー効率向上を示した。これは主に、全オンチップモデル保存とオフチップメモリアクセスの削減によるものである。
• エネルギー効率は最大で5.14 TOPS/Wに達し、アナログ型および新興デバイスベースの実装（例：380.7 GOPS/W、142.9 GOPS/W、1.04 TOPS/W）を著しく上回った。
• CyClone V FPGAでは1画像あたり11.6ns（約86,000 FPSに相当）、Kintex-7 FPGAでは1画像あたり4nsに達し、新興デバイス技術でさえも上回った。
• アルゴリズムにより、1層あたりの計算複雑さがO(n²)からO(n log n)、記憶複雑さがO(n²)からO(n)に低減され、MNIST、SVHN、CIFAR-10データセットで精度の著しい低下は見られなかった。
• 実験結果では、MNISTで92.9%〜99.0%、SVHNで96.2%、CIFAR-10で80.3%〜94.75%の精度を達成し、エネルギー効率は659.5〜2514 GOPS/Wの範囲で変動した。