[論文レビュー] Low Latency CMOS Hardware Acceleration for Fully Connected Layers in Deep Neural Networks

Nick Iliev, Amit Ranjan Trivedi|arXiv (Cornell University)|Nov 25, 2020

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文では、128個の並列8×8または16×16プロセッシングエレメント（PE）と128個のハイブリッドメモリ（HBM）ユニットを用い、重みを新規のカラム・ロー・カラムスケジュールで格納・ストリーミングすることで、深層ニューラルネットワークの全結合（FC）層向けに低遅延なCMOS ASICアクセラレータであるFC-ACCLを提示する。この設計により、4096×1000のFC8層に対して100 MHzで48.4 GOPSを達成し、150 MHzで28.8 GOPSを達成した先行研究のアクセラレータを上回る。並列性を最大化し、メモリアクセス遅延を最小限に抑えることで実現した。

ABSTRACT

We present a novel low latency CMOS hardware accelerator for fully connected (FC) layers in deep neural networks (DNNs). The FC accelerator, FC-ACCL, is based on 128 8x8 or 16x16 processing elements (PEs) for matrix-vector multiplication, and 128 multiply-accumulate (MAC) units integrated with 128 High Bandwidth Memory (HBM) units for storing the pretrained weights. Micro-architectural details for CMOS ASIC implementations are presented and simulated performance is compared to recent hardware accelerators for DNNs for AlexNet and VGG 16. When comparing simulated processing latency for a 4096-1000 FC8 layer, our FC-ACCL is able to achieve 48.4 GOPS (with a 100 MHz clock) which improves on a recent FC8 layer accelerator quoted at 28.8 GOPS with a 150 MHz clock. We have achieved this considerable improvement by fully utilizing the HBM units for storing and reading out column-specific FClayer weights in 1 cycle with a novel colum-row-column schedule, and implementing a maximally parallel datapath for processing these weights with the corresponding MAC and PE units. When up-scaled to 128 16x16 PEs, for 16x16 tiles of weights, the design can reduce latency for the large FC6 layer by 60 % in AlexNet and by 3 % in VGG16 when compared to an alternative EIE solution which uses compression.

研究の動機と目的

• 深層学習推論における全結合（FC）層の高遅延を解消すること、特にAlexNet や VGG16 などのモデルを対象とする。
• 1サイクルでカラム固有の重みアクセスを可能にすることで、FC層におけるメモリアクセスボトルネックを低減すること。
• 全結合層のスループットを最大化し、遅延を最小限に抑える、高並列的かつ面積効率の良いCMOS ASICアーキテクチャを設計すること。
• 既存のハードウェアアクセラレータを上回る処理遅延を実現しながら、オンチップリソースの高い利用率を維持すること。

提案手法

• FC-ACCLアーキテクチャは、全結合層における行列-ベクトル乗算に、128個の並列8×8または16×16プロセッシングエレメント（PE）を採用する。
• 128個のハイブリッドメモリ（HBM）ユニットを統合し、重み行列全体を格納・ストリーミング可能にし、1サイクルでカラム固有のアクセスを実現する。
• MACおよびPEユニットのアイドルサイクルを削減し、データ再利用を最適化するため、新規のカラム・ロー・カラムメモリアクセススケジュールを採用する。
• データパスは完全に並列化されており、各PEおよびMACユニットが同期して動作することでスループットを最大化する。
• 重みは16×16ブロック単位で処理されるタイル型アーキテクチャを採用しており、より大きなFC層への効率的スケーリングを可能にする。
• CMOS ASIC実装に最適化されたマイクロアーキテクチャであり、128個のPEを対象とした詳細なタイミングおよび面積解析が実施されている。

実験結果

リサーチクエスチョン

• RQ1 メモリアクセスパターンを最適化することで、既存のFC層アクセラレータよりも低遅延なCMOS ASICアクセラレータを実現できるか？
• RQ2 カラム・ロー・カラムメモリスケジューリング戦略は、FC層推論の遅延およびスループットにどのように影響を与えるか？
• RQ3 PEおよびMACユニットにおける並列性をどの程度最大化できるか、GOPS性能の向上に寄与するか？
• RQ4 AlexNetのFC6層やVGG16のFC8層のような大規模FC層において、提案アーキテクチャはどの程度遅延低減を実現できるか？
• RQ5 圧縮されたEIEベースのソリューションと比較して、FC-ACCL設計は遅延およびスループットの面でどの程度の性能向上を達成できるか？

主な発見

• FC-ACCLアクセラレータは、4096×1000のFC8層に対して100 MHzで48.4 GOPSを達成し、150 MHzで28.8 GOPSを達成した先行アクセラレータを顕著に上回った。
• 新規のカラム・ロー・カラムメモリアクセススケジュールにより、1サイクルでカラム固有の重みアクセスが可能となり、メモリ遅延が低減され、リソース利用率が向上した。
• 128個の16×16 PEにスケーリングすることで、AlexNetの大きなFC6層の遅延が、代替のEIEベースのソリューションと比較して60％低減された。
• VGG16のFC8層では、同じEIEベースのソリューションと比較して、遅延が3％低減された。
• 128個のMACユニットと128個のPEを完全に活用する完全並列データパスにより、高いスループットが実現され、アイドルサイクルが最小限に抑えられた。
• メモリ帯域幅とスケジューリングが、FC層アクセラレーションにおいて重要なボトルネックであることが示され、それらの最適化により顕著な性能向上が達成された。