[論文レビュー] RESPARC: A Reconfigurable and Energy-Efficient Architecture with Memristive Crossbars for Deep Spiking Neural Networks

Aayush Ankit, Abhronil Sengupta+2 more|arXiv (Cornell University)|Feb 20, 2017

Advanced Memory and Neural Computing参考文献 19被引用数 10

ひとこと要約

RESPARCは、深層スパikingニューラルネットワーク（SNN）の高速化を目的とした、メモリスティブクロスバーアレイ（MCAs）に基づく再構成可能でエネルギー効率の高い神経形状アーキテクチャである。イベント駆動型計算、3段階の階層的再構成性（mPE、NeuroCell、RESPARCコア）、および技術に配慮したMCAサイズ選定を活用し、デジタルCMOSベースライン比で最大500倍のエネルギー効率と300倍の高いスループットを達成する。

ABSTRACT

Neuromorphic computing using post-CMOS technologies is gaining immense popularity due to its promising abilities to address the memory and power bottlenecks in von-Neumann computing systems. In this paper, we propose RESPARC - a reconfigurable and energy efficient architecture built-on Memristive Crossbar Arrays (MCA) for deep Spiking Neural Networks (SNNs). Prior works were primarily focused on device and circuit implementations of SNNs on crossbars. RESPARC advances this by proposing a complete system for SNN acceleration and its subsequent analysis. RESPARC utilizes the energy-efficiency of MCAs for inner-product computation and realizes a hierarchical reconfigurable design to incorporate the data-flow patterns in an SNN in a scalable fashion. We evaluate the proposed architecture on different SNNs ranging in complexity from 2k-230k neurons and 1.2M-5.5M synapses. Simulation results on these networks show that compared to the baseline digital CMOS architecture, RESPARC achieves 500X (15X) efficiency in energy benefits at 300X (60X) higher throughput for multi-layer perceptrons (deep convolutional networks). Furthermore, RESPARC is a technology-aware architecture that maps a given SNN topology to the most optimized MCA size for the given crossbar technology.

研究の動機と目的

• 深層学習におけるボルン・ニューマン計算のメモリおよびパワーのボトル neck を、ポスト-CMOS神経形状アーキテクチャを活用することで解決すること。
• 固定サイズのメモリスティブクロスバー（MCA）の制限を克服し、多様なSNNトポロジーへの再構成可能なマッピングを可能にすること。
• SNNのイベント駆動型性質とMCAsにおけるメモリ内計算を統合し、エネルギー効率を最大化すること。
• デバイスの非理想性を踏まえた、スケーラブルで技術に配慮したアーキテクチャを設計し、利用可能なMCAサイズに最適にSNNをマッピングすること。
• 新興MCA技術上で、MLPおよびCNNバージョンのSNNの両方に対して高いエネルギー効率とスループットを達成すること

提案手法

• 3段階の再構成可能階層を提案：可変ファンインニューロン用のマクロプロセッシングエンジン（mPE）、異なる層内・層間接続性（MLP/CNN）を処理するためのNeuroCell、およびマルチレイヤーSNN用のRESPARCコア。
• メモリスティブクロスバーアレイ（MCAs）を用いてメモリ内内積計算を実現し、シンプティック重みをクロスポイントデバイスに直接格納することで、外部メモリアクセスを排除する。
• スパイクトレインのスパarsityを活用するイベント駆動型データフロー技術を採用し、アクティブ計算と周辺回路のエネルギー消費を削減する。
• 技術に配慮したマッピングを導入：SNNトポロジーとデバイス制約（例：スニーキングパス、プロセスばらつき）に基づき、最適なMCAサイズ（例：32、64、128）を動的に選択する。
• メモリスティブ重みのビット離散化（4ビット精度）を適用し、精度とエネルギーのバランスを図りながら、RESPARCのエネルギー消費に最小限の影響を与える。
• SNNに2,000～230,000ニューロン、120万～550万シナプスを含むシミュレーションを実施し、RESPARCとデジタルCMOSベースラインを比較評価する。

実験結果

リサーチクエスチョン

• RQ1 限られたサイズのメモリスティブクロスバーに、多様なSNNトポロジー（MLP、CNN）を効率的にマッピングする再構成可能アーキテクチャは、エネルギーおよび面積オーバーヘッドを最小限に抑えることができるか？
• RQ2 スニーキングパスや非理想性といった技術的制約を考慮した場合、SNNアーキテクチャ（MLP対CNN）に最適なMCAサイズは何か？
• RQ3 SNNのイベント駆動型処理とMCAsにおけるメモリ内計算を組み合わせた場合、エネルギー効率がどの程度向上するか？
• RQ4 メモリスティブ重みのビット精度が、CMOSと比較してRESPARCアーキテクチャの精度とエネルギー消費に与える影響は？
• RQ5 メモリ節約（MCAsによる重み格納）と計算効率（メモリ内内積計算）の両方が、全体のエネルギー削減に果たす相対的寄与度は？

主な発見

• RESPARCは、深層MLPにおいて、デジタルCMOSベースライン比で最大500倍のエネルギー効率向上と300倍の高いスループットを達成する。
• CNNでは、RESPARCは最大15倍のエネルギー効率向上と60倍の高いスループットを達成し、RESPARC-64が最もエネルギー効率の高い設定である。
• MLPにおけるエネルギー節約の主な要因は、MCAsにおけるメモリ内重み格納によるメモリアクセスとリークの削減にある。
• CNNにおけるエネルギー節約は、効率的なメモリ内内積計算に起因し、計算コアがCMOSのエネルギー消費を支配しているためである。
• イベント駆動型処理は、1次元スパイクベクトル（例：背景ピクセル）のスパarsityがより高いMLPにおいて、CNNよりも高いエネルギー節約効果を示す。
• RESPARCのエネルギー消費は、重みのビット精度（4〜8ビット）にほとんど依存せず、一方CMOSのエネルギー消費は、精度が向上するに従い、バッファおよびメモリユニットの増大により顕著に増加する。