[論文レビュー] A 64-core mixed-signal in-memory compute chip based on phase-change memory for deep neural network inference

Manuel Le Gallo, Riduan Khaddam-Aljameh+27 more|arXiv (Cornell University)|Dec 6, 2022

Advanced Memory and Neural Computing被引用数 18

ひとこと要約

本論文は、相変化メモリ（PCM）を用いた64コアの混合信号型メモリ内計算チップを提案する。このチップは、すべての深層ニューラルネットワーク（DNN）推論処理をチップ内ですべて実行し、ソフトウェア同等の精度に近い性能を達成する。64個のPCMベースのAIMCコアに加え、活性化関数とコア間通信を担うオンチップデジタル処理を統合することで、8ビットのMVM（行列-ベクトル乗算）において63.1 TOPSのスループットと9.76 TOPS/Wのエネルギー効率を実現した。

ABSTRACT

The need to repeatedly shuttle around synaptic weight values from memory to processing units has been a key source of energy inefficiency associated with hardware implementation of artificial neural networks. Analog in-memory computing (AIMC) with spatially instantiated synaptic weights holds high promise to overcome this challenge, by performing matrix-vector multiplications (MVMs) directly within the network weights stored on a chip to execute an inference workload. However, to achieve end-to-end improvements in latency and energy consumption, AIMC must be combined with on-chip digital operations and communication to move towards configurations in which a full inference workload is realized entirely on-chip. Moreover, it is highly desirable to achieve high MVM and inference accuracy without application-wise re-tuning of the chip. Here, we present a multi-core AIMC chip designed and fabricated in 14-nm complementary metal-oxide-semiconductor (CMOS) technology with backend-integrated phase-change memory (PCM). The fully-integrated chip features 64 256x256 AIMC cores interconnected via an on-chip communication network. It also implements the digital activation functions and processing involved in ResNet convolutional neural networks and long short-term memory (LSTM) networks. We demonstrate near software-equivalent inference accuracy with ResNet and LSTM networks while implementing all the computations associated with the weight layers and the activation functions on-chip. The chip can achieve a maximal throughput of 63.1 TOPS at an energy efficiency of 9.76 TOPS/W for 8-bit input/output matrix-vector multiplications.

研究の動機と目的

• メモリと処理ユニット間の繰り返し発生する重みの移動が原因で生じるエネルギー非効率性を克服すること。
• アナログ型メモリ内計算（AIMC）とオンチップデジタル処理および通信を統合することで、エンドツーエンドのチップ内推論を実現すること。
• アプリケーション固有のチューニングなしで高い推論精度とエネルギー効率を達成することを目的とし、高密度かつ恒久的な重み記憶に非揮発性PCMを用いること。
• 単一コアや小規模ネットワークにとどまらないAIMCのスケーリングを実現し、1チップに複数コア・複数層のDNNワークロードを実装すること。

提案手法

• 非揮発性のシナプス重み記憶を実現するため、後工程統合型の14nm CMOSチップに相変化メモリ（PCM）を統合した設計とプロトタイピング。
• 64個の独立した256x256 AIMCコアを実装し、各コアがPCMの導電率状態を用いて直接メモリ内で行列-ベクトル乗算（MVM）を実行する。
• 大規模レイヤーの分散MVM実行を可能とするために、コア間を接続する独自開発のオンチップ通信ネットワークを採用。
• 活性化関数（例：ReLU、tanh）とデータ変換（PWM、ADC、DAC）を実行するためのオンチップデジタルユニット（LDPUおよびGDPU）を統合。
• 式（1）を用いた導電率マッピング方式により、ネットワーク重みをPCMセルの導電率にマッピングし、ADCの飽和および電流制限によって制限されるコア固有の$G_{\text{max}}$を考慮する。
• 入力の量子化（8ビットPWM）、ADCの量子化（12ビット）、LDPU/GDPUのデータ変換（8ビット）、および測定済みの各コアの重みノイズ（多項式フィッティングによる）を組み込んだ、機能的でハードウェアに配慮したシミュレーションモデルの開発。

実験結果

リサーチクエスチョン

• RQ1 非揮発性PCMを用いたマルチコアで完全に統合されたAIMCチップは、ソフトウェア同等の精度に近いエンドツーエンドDNN推論を達成できるか？
• RQ2 MVMおよびデジタル処理がすべてチップ内ですべて実行される場合、PCMベースのAIMCチップが達成可能な最大スループットとエネルギー効率は何か？
• RQ3 PCMおよびADC部品の非理想性に起因するオンチップ重みノイズが、複数コアにわたる推論精度に与える影響は何か？
• RQ4 大規模DNN（例：ResNet-9、LSTM）は、チップ外の重みバッファやレイヤー単位での再プログラミングなしに、64コアに効率的にマッピング可能か？
• RQ5 コア固有の$G_{\text{max}}$のスケーリングが、マルチコアPCMアーキテクチャにおけるMVMの精度とエネルギー効率に与える影響は何か？

主な発見

• 8ビット入出力の行列-ベクトル乗算（MVM）において、ピークスループットは63.1 TOPS、エネルギー効率は9.76 TOPS/Wを達成した。
• ResNet-9およびLSTMベースの画像キャプションネットワークにおいて、アプリケーション固有のチューニングなしでソフトウェア同等の推論精度が実証された。
• 統合されたLDPUおよびGDPUユニットにより、MVMおよびデジタル活性化関数（例：ReLU、tanh）の完全なオンチップ実行が可能となった。
• 重みノイズはコア固有の重み依存性を持つガウス分布としてモデル化され、測定済みの各コアの誤差を多項式関数でフィッティングした。
• TDP PCMを用いたResNet-9では、$G_{\text{max}}$が最大160まで使用され、より高い導電率範囲の利用が可能となり、MVMの精度が向上した。
• 電力測定結果から、ダイナミック電力はADCおよびデジタル電源に支配的であり、全エネルギーは監視されたすべての電源における静的およびダイナミック寄与の合計として計算された。