[論文レビュー] A Power-Efficient Binary-Weight Spiking Neural Network Architecture for Real-Time Object Classification

Pai-Yu Tan, Po-Yao Chuang+3 more|arXiv (Cornell University)|Mar 12, 2020

Advanced Memory and Neural Computing参考文献 22被引用数 7

ひとこと要約

本論文は、リアルタイムでオンチップでの物体分類を可能にする、2次元サッカリア配列に基づく、電力効率の高いバイナリ重みスパikingニューラルネットワーク（BW-SNN）ハードウェアアーキテクチャを提案する。全ネットワークをオンチップに格納し、サッカリア配列設計によるデータ再利用を最大化することで、5層のBW-SNNは、最先端の設計と比較して面積が7倍小さく、1インフェレンスあたりのエネルギーが23倍低減された。MNISTでは98.73%の精度を達成し、超低消費電力で動作する、最先端のCNNトポロジーをサポートするSNNハードウェアとして初めての実現を示した。

ABSTRACT

Neural network hardware is considered an essential part of future edge devices. In this paper, we propose a binary-weight spiking neural network (BW-SNN) hardware architecture for low-power real-time object classification on edge platforms. This design stores a full neural network on-chip, and hence requires no off-chip bandwidth. The proposed systolic array maximizes data reuse for a typical convolutional layer. A 5-layer convolutional BW-SNN hardware is implemented in 90nm CMOS. Compared with state-of-the-art designs, the area cost and energy per classification are reduced by 7$ imes$ and 23$ imes$, respectively, while also achieving a higher accuracy on the MNIST benchmark. This is also a pioneering SNN hardware architecture that supports advanced CNN architectures.

研究の動機と目的

• オフチップメモリ帯域幅の削減により、エッジデバイス上で低消費電力でリアルタイムの物体分類を実現すること。
• 現行の設計では稀であるが、SNNハードウェアで高度なCNNアーキテクチャをサポートすること。
• バイナリ重みネットワークと効率的なデータ再利用により、面積とエネルギー消費を最小限に抑えること。
• 90nm CMOSプロセスで225K相当のゲート数と12.75KBのオンチップSRAMを備えた、5層完全な畳み込みBW-SNNを実装し、オンチップ重み格納とリアルタイム推論を実現すること。
• 最先端のSNNおよびDNNハードウェアアクセラレータと比較して、エネルギー効率と面積効率に優れた性能を示すこと。

提案手法

• 2次元サッカリア配列にPEアレイとバッファチェーンを組み合わせ、3次元入力を用いた2次元畳み込みを効率的に計算し、データ再利用を最大化する。
• 計算の簡略化とオンチップ格納要件の低減のため、バイナリ重みが使用され、全ネットワークをオンチップに格納可能となる。
• サッカリア配列により、K個の3次元カーネルを、効率的なMAC演算が可能な（JC, I）行列に再形状化・転置することで、2次元PEアレイにマッピングする。
• Cワードのストレージを備えた（I-1）W + J個のバッファにより、畳み込み計算のための適切なデータスケジューリングと遅延同期が可能となる。
• ニューロンブロックは、局所的なSRAMに格納されたパrameterを用いて、インテグレートアンドファイア（IF）ダイナミクスを実装し、次のレイヤーの出力スパイクを生成する。
• 225K個の同等ゲート数と12.75KBのオンチップSRAMを備えた90nm CMOSプロセスで製造され、100MHzで動作し、52mWの消費電力となる。

実験結果

リサーチクエスチョン

• RQ1 バイナリ重みSNNハードウェアアーキテクチャは、オフチップメモリアクセスなしにエッジデバイス上でリアルタイムで低消費電力の物体分類を達成できるか？
• RQ2 サッカリア配列を効果的にマッピングすることで、高いデータ再利用と最小限の面積オーバーヘッドを実現する全畳み込みBW-SNNをサポートできるか？
• RQ3 SNNハードウェアにおいて、バイナリ重みとサッカリア配列設計を組み合わせることで、エネルギー、面積、精度の面でどの程度の性能向上が達成できるか？
• RQ4 本提案アーキテクチャは、多数の先行SNNハードウェアとは異なり、深層畳み込みネットワークなどの高度なCNNトポロジーをサポートできるか？
• RQ5 標準ベンチマークにおいて、本提案BW-SNNは、最先端のDNNおよびSNNアクセラレータと比較して、エネルギー効率と精度の面でどの程度優れているか？

主な発見

• 5層のBW-SNNハードウェアは、MNISTベンチマークで1インフェレンスあたり4.991 µJのエネルギーで、0.095 msの遅延で98.73%の精度を達成した。
• 最先端のSNNおよびDNNアクセラレータと比較して、エネルギー消費を23倍低減し、面積を7倍小さくしたが、より高い精度を達成した。
• チップは100MHzで52mWの消費電力で動作し、ダイサイズは2.07mm²であり、エッジ推論における超低消費電力動作を実証した。
• レイアウト後シミュレーションにより、0.5msの遅延でリアルタイム推論をサポートすることが確認され、実世界の応用に十分な性能を示した。
• サッカリア配列により、全ネットワークをオンチップに格納でき、オフチップ帯域幅が不要となり、システム全体の消費電力が低減された。
• 本アーキテクチャは、深層畳み込みネットワークなどの高度なCNNトポロジーをサポートするSNNハードウェアとして、初めての実現を達成した。