[論文レビュー] CrossStack: A 3-D Reconfigurable RRAM Crossbar Inference Engine

Jason K. Eshraghian, Kyoung-Rok Cho+1 more|arXiv (Cornell University)|Feb 7, 2021

Advanced Memory and Neural Computing参考文献 25被引用数 4

ひとこと要約

CrossStackは、2つのモードで動作する3次元再構成可能RRAMクロスバーベースの推論エンジンを提案する。拡張モードでは、入力解像度を2倍にし、IR降下を22%低減する。ディープネットモードでは、パイプライン化された読み取り/書き込み操作により、10ビット畳み込みあたりの推論速度を29%向上する。本設計は、CMOS-メモリスタハイブリッドセルを用い、リード・エナブル（RE）信号によるモード制御を実現する。Al/TiO₂/TiO₂₋ₓ/Alメモリスタを積層した構造を採用する。

ABSTRACT

Deep neural network inference accelerators are rapidly growing in importance as we turn to massively parallelized processing beyond GPUs and ASICs. The dominant operation in feedforward inference is the multiply-and-accumlate process, where each column in a crossbar generates the current response of a single neuron. As a result, memristor crossbar arrays parallelize inference and image processing tasks very efficiently. In this brief, we present a 3-D active memristor crossbar array `CrossStack', which adopts stacked pairs of Al/TiO2/TiO2-x/Al devices with common middle electrodes. By designing CMOS-memristor hybrid cells used in the layout of the array, CrossStack can operate in one of two user-configurable modes as a reconfigurable inference engine: 1) expansion mode and 2) deep-net mode. In expansion mode, the resolution of the network is doubled by increasing the number of inputs for a given chip area, reducing IR drop by 22%. In deep-net mode, inference speed per-10-bit convolution is improved by 29\% by simultaneously using one TiO2/TiO2-x layer for read processes, and the other for write processes. We experimentally verify both modes on our $10 imes10 imes2$ array.

研究の動機と目的

• GPUやASICを超える、高スループットで再構成可能なハードウェアアクセラレータに対する急増する需要に対応すること。
• 既存の3次元RRAMアレイが主にデジタルメモリに限定されており、進化するニューラルネットワークアーキテクチャに適応できないという制限を克服すること。
• 再設計サイクルなしで動的かつ柔軟に新しいネットワークトポロジーに適応可能なハードウェア再構成性を実現すること。
• 二重動作モードを有する革新的な3次元メモリスタクロスバーアーキテクチャにより、IR降下の低減と推論速度の向上を実現すること。
• CMOSハイブリッドセル設計を用いた3次元スタックドRRAMアレイにおいて、パイプライン化された読み取りおよび書き込み操作の実験的妥当性を示すこと。

提案手法

• CrossStackアーキテクチャは、共通の中間電極を共有するAl/TiO₂/TiO₂₋ₓ/Alメモリスタクロスバーの3次元スタックペアを用い、二層構造による動作を可能にする。
• リード・エナブル（RE）信号を用いたCMOS-メモリスタハイブリッドセルを採用し、モード選択を制御する：REが高値の場合は拡張モード、低値の場合はディープネットモード。
• 拡張モードでは、両層が同じ列電流に寄与し、列あたりの入力数を2倍にし、配線抵抗を半分に抑える。
• ディープネットモードでは、一方の層を読み取り、他方を書き込みに使用し、パイプライン処理を実現する。
• キルヒホッフの電流則とオームの法則を活用し、コンダクタンス重み付き電流の和算によりアナログ行列-ベクトル乗算を実行する：i = V^i G。
• 10×10×2アレイをSK Hynixの180nm CMOSプロセスでプロトタイピングし、各層に独立したCMOS回路制御を実装する。

実験結果

リサーチクエスチョン

• RQ1 3次元スタックドRRAMクロスバーアーキテクチャは、性能とスケーラビリティの向上を図る2つの異なる推論モードを再構成可能にサポートできるか？
• RQ2 チップ面積の増加なしに、高密度クロスバーマトリクスにおけるIR降下をどのように低減できるか？
• RQ3 3次元RRAMアレイにおけるパイプライン化された読み取り・書き込み操作は、推論スループットをどの程度向上できるか？
• RQ4 再構成可能クロスバーにおけるアナログ推論用途の単一ビットメモリスタの使用に伴う、性能と信頼性のトレードオフはいかほどか？
• RQ5 3次元メモリスタスタックにおける共通の中間電極の使用は、信号整合性とパワー効率にどのような影響を及えるか？

主な発見

• 拡張モードでは、列あたりの入力数が2倍に増加し、2次元アレイと比較してIR降下が22%低減された。
• ディープネットモードでは、2つの分離された層を用いた同時読み取り・書き込み処理により、10ビット畳み込みあたりの推論速度が29%向上した。
• 過渡解析から、理想値からの最大電流偏差が8%であることが判明し、デバイスばらつきの影響により、1メモリスタあたり約3.5ビットの実用的限界があると示唆された。
• 10nsの読み出し時間は、保守的な1ビット/セルの場合の25nsのプログラミング時間に埋め込まれており、イン・サイトパイプラインの有効性が裏付けられた。
• 高電圧書き込み（VIN > 3V）条件下でリーク電流と非線形性が観測されたが、設計上はサブスレッシュホールドリークは最小限に抑えられた。
• 容量結合と熱放出は3次元統合における課題のままであるが、金属層の間隔を広げることで結合リスクの低減が可能である。