[論文レビュー] MPNA: A Massively-Parallel Neural Array Accelerator with Dataflow Optimization for Convolutional Neural Networks

Muhammad Abdullah Hanif, Rachmad Vidya Wicaksana Putra+4 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Neural Network Applications参考文献 8被引用数 14

ひとこと要約

本論文では、畳み込み層（CONV）および全結合層（FC）の両方を統合的に高速化する、異種のシスチナリックアレイと最適化されたデータフローを備えた大規模並列ニューラルアレイアクセラレータMPNAを提案する。高いデータ再利用と効率的なメモリアクセスを可能にすることで、ベースラインアーキテクチャ比で1.7倍の性能向上と51%のエネルギー削減を達成し、28nm ASIC実装で280MHzで149.7 GOPS/Wの性能を達成した。

ABSTRACT

The state-of-the-art accelerators for Convolutional Neural Networks (CNNs) typically focus on accelerating only the convolutional layers, but do not prioritize the fully-connected layers much. Hence, they lack a synergistic optimization of the hardware architecture and diverse dataflows for the complete CNN design, which can provide a higher potential for performance/energy efficiency. Towards this, we propose a novel Massively-Parallel Neural Array (MPNA) accelerator that integrates two heterogeneous systolic arrays and respective highly-optimized dataflow patterns to jointly accelerate both the convolutional (CONV) and the fully-connected (FC) layers. Besides fully-exploiting the available off-chip memory bandwidth, these optimized dataflows enable high data-reuse of all the data types (i.e., weights, input and output activations), and thereby enable our MPNA to achieve high energy savings. We synthesized our MPNA architecture using the ASIC design flow for a 28nm technology, and performed functional and timing validation using multiple real-world complex CNNs. MPNA achieves 149.7GOPS/W at 280MHz and consumes 239mW. Experimental results show that our MPNA architecture provides 1.7x overall performance improvement compared to state-of-the-art accelerator, and 51% energy saving compared to the baseline architecture.

研究の動機と目的

• 全結合（FC）層の最適化が不十分である既存のCNNアクセラレータの性能およびエネルギー非効率性を是正すること。
• 従来のシスチナリックアレイが、活性化値および重みの再利用が限られているため、FC層にほとんどスピードアップをもたらさないという制限を克服すること。
• CONVおよびFC層の両方でデータ再利用を最大化する、ハードウェア・ソフトウェアの共同最適化されたアクセラレータを設計すること。
• 多様な層タイプに適した異種のシスチナリックアレイと専用のデータフロー・パターンを統合することで、高い性能およびエネルギー効率を達成すること。
• 実世界のCNN（例：AlexNet）を用いたASIC合成と包括的な評価を通じて、提案アーキテクチャの有効性を実証すること。

提案手法

• CONV層とFC層それぞれに最適化された2つの異種のシスチナリックアレイを統合した新規な大規模並列ニューラルアレイ（MPNA）アーキテクチャを提案する。
• 両層タイプにわたる重み、入力活性化値、出力活性化値の再利用を最大化する専用のデータフロー・パターンを設計する。
• 効率的なデータ移動と外部メモリアクセスの削減を支援するため、データフロー制御回路およびオンチップメモリ階層（データバッファおよび重みバッファを含む）を実装する。
• RTL設計、合成、タイミング/エネルギー/面積解析のために、Synopsysツールを用いた28nm ASIC設計フローを活用する。
• 正確なオンチップメモリモデリングとエネルギー推定のため、CACTI 7.0を統合する。
• ModelSimを用いた機能検証およびタイミング検証を行い、AlexNetを含む複数の実世界のCNNにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つのアクセラレータアーキテクチャが、エネルギー効率を損なわず、CNNの畳み込み層と全結合層の両方を効率的に高速化できるか。
• RQ2 データフロー最適化を活用することで、多様な層タイプにわたる重み、活性化値、部分和の再利用をどの程度最大化できるか。
• RQ3 従来のCONV最適化アーキテクチャに、専用のFC最適化シスチナリックアレイを追加した場合の性能およびエネルギーオーバーヘッドはどの程度か。
• RQ4 最適化されたデータフローは、外部メモリアクセスをどの程度削減し、CNNアクセラレータ全体のエネルギー効率を向上させ得るか。
• RQ5 最先端のアクセラレータと比較して、提案されたMPNAは性能、エネルギー効率、面積消費の観点でどの程度優れているか。

主な発見

• MPNAは280MHzで149.7 GOPS/Wのエネルギー効率を達成し、ベースラインアーキテクチャを著しく上回った。
• 提案されたMPNAは、Eyeriss や FlexFlow といった最先端のアクセラレータと比較して、全体で1.7倍の性能向上を達成した。
• 最適化されたデータフローと強化されたデータ再利用のおかげで、FlexFlowと比較して外部メモリアクセスを53%削減した。
• SA-FC部は、SA-CONVと比較して面積で2.1%、パワーで4.4%のオーバーヘッドに留まり、FC加速にかかるコストが非常に低いことが示された。
• ベースラインアーキテクチャと比較して、MPNAは51%のエネルギー削減を達成した。これは、メモリアクセスを最小限に抑え、最大限のデータ再利用を実現したためである。
• MPNAの総面積は2.34 mm²であり、計算部が1.38 mm²、オンチップメモリ部が0.96 mm²を占める。他の最先端アクセラレータと比較しても競争力のあるサイズである。