[論文レビュー] CapStore: Energy-Efficient Design and Management of the On-Chip Memory for CapsuleNet Inference Accelerators

Alberto Marchisio, Muhammad Abdullah Hanif+2 more|arXiv (Cornell University)|Feb 4, 2019

Advanced Neural Network Applications参考文献 14被引用数 6

ひとこと要約

本稿では、アプリケーションに適応したメモリパーティショニングとセクタレベルの電源ガーディングを用いて、オフチップメモリアクセスを最小限に抑え、動的および静的エネルギーを大幅に削減することで、最大86％のエネルギー消費削減を実現する専用オンチップメモリ階層「CapStore」を提案する。CapsuleNetの各レイヤーにおけるメモリアクセスパターンを分析することで、オフチップメモリアクセスを低減し、オンチップメモリ設計を最適化し、高いスループットを維持したまま、動的および静的エネルギーを顕著に削減した。

ABSTRACT

Deep Neural Networks (DNNs) have been established as the state-of-the-art algorithm for advanced machine learning applications. Recently, CapsuleNets have improved the generalization ability, as compared to DNNs, due to their multi-dimensional capsules. However, they pose high computational and memory requirements, which makes energy-efficient inference a challenging task. In this paper, we perform an extensive analysis to demonstrate their key limitations due to intense memory accesses and large on-chip memory requirements. To enable efficient CaspuleNet inference accelerators, we propose a specialized on-chip memory hierarchy which minimizes the off-chip memory accesses, while efficiently feeding the data to the accelerator. We analyze the on-chip memory requirements for each memory component of the architecture. By leveraging this analysis, we propose a methodology to explore different on-chip memory designs and a power-gating technique to further reduce the energy consumption, depending upon the utilization across different operations of a CapsuleNet. Our memory designs can significantly reduce the energy consumption of the on-chip memory by up to 86%, when compared to a state-of-the-art memory design. Since the power consumption of the memory elements is the major contributor in the power breakdown of the CapsuleNet accelerator, as we will also show in our analyses, the proposed memory design can effectively reduce the overall energy consumption of the complete CapsuleNet accelerator architecture.

研究の動機と目的

• CapsuleNet推論アクセラレータにおけるオンチップおよびオフチップメモリの高いエネルギー消費を是正すること。
• PrimaryCapsおよびDigitCapsレイヤーにおけるCapsuleNet演算のメモリアクセスボトル neck を同定すること。
• オフチップメモリアクセスを最小限に抑え、パーティショニングと電源ガーディングによるエネルギー消費削減を実現する専用オンチップメモリ階層の設計。
• オンチップメモリアーキテクチャにおける面積、帯域幅、エネルギー効率の間の設計空間的トレードオフを調査すること。
• メモリエネルギーが総合アクセラレータエネルギーを支配しており、エネルギー効率の観点からメモリ最適化が不可欠であることを示すこと。

提案手法

• すべてのCapsuleNet推論ステージにわたる詳細なメモリアクセスおよびサイズ分析を実施し、高メモリ圧力がかかるホットスポットを同定する。
• セクタレベルの電源ガーディングを備えたマルチバンクオンチップメモリとして、CapStoreを提案する。
• 系統的な設計空間探索のため、6種類の異なるメモリアーキテクチャ（例：SEP、PG-SEP、SMP、HY）を設計する。
• CACTI-Pを用いて、さまざまなメモリ構成における面積およびエネルギー消費をシミュレート・評価する。
• スリープトランジスタを用いた電源ガーディング戦略を実装し、非アクティブなメモリセクタを無効化することで、静的パワーを低減する。
• 32nm CMOSプロセスを用いて、完全なCapsuleNetアクセラレータを合成し、実ASICフローにおけるエネルギーおよび面積の節約を検証する。

実験結果

リサーチクエスチョン

• RQ1 異なるCapsuleNetレイヤーにおいて、支配的となるメモリアクセスパターンとエネルギー消費特性は何か？
• RQ2 CapsuleNet推論において、オフチップメモリアクセスを最小限に抑えるために、オンチップメモリアーキテクチャをどのように最適化できるか？
• RQ3 セクタレベルでの電源ガーディングが、オンチップメモリにおける静的エネルギー低減に与える影響は何か？
• RQ4 単一ポート型（例：SEP）とマルチポート型（例：SMP）などの異なるメモリ組織戦略が、面積およびエネルギー効率に与える影響は何か？
• RQ5 アプリケーション固有のメモリ設計は、CapsuleNetアクセラレータにおける総合エネルギー消費をどの程度削減できるか？

主な発見

• オンチップおよびオフチップメモリは、CapsuleNetアクセラレータ全体のエネルギー消費の96％を占めており、メモリが主なエネルギーボトル neck であることが判明した。
• CapStoreのPG-SEPアーキテクチャは、最先端の設計と比較して、効果的な電源ガーディングにより、オンチップメモリエネルギーを最大86％まで削減した。
• 電源ガーディングによるウェイクアップエネルギーオーバーヘッドは無視できるほど小さく、メモリの状態遷移が計算中ではなく、処理間でのみ発生するためである。
• 完全なCapsuleNetアクセラレータは、ベースライン設計と比較して、CapStoreを採用することで、総合エネルギーを46％削減し、面積を25％削減した。
• PrimaryCapsレイヤーは、高いメモリ集積度とほぼ常に高い利用率を示すため、最も高いメモリエネルギー消費を示し、電源ガーディングの効果が限定的である。
• 単一ポート型メモリ組織（例：SEP、PG-SEP）は、インターコネクトのオーバーヘッドが少ないため、共有マルチポート設計よりも面積およびエネルギー効率に優れている。