[论文解读] CrossStack: A 3-D Reconfigurable RRAM Crossbar Inference Engine

Jason K. Eshraghian, Kyoung-Rok Cho+1 more|arXiv (Cornell University)|Feb 7, 2021

Advanced Memory and Neural Computing参考文献 25被引用 4

一句话总结

CrossStack 提出了一种用于神经网络推理的3D可重构RRAM交叉阵列引擎，可在两种模式下运行：扩展模式下，输入分辨率加倍，IR压降降低22%；深度网络模式下，通过流水线读写操作，10位卷积的推理速度提升29%。该设计采用堆叠的Al/TiO₂/TiO₂₋ₓ/Al忆阻器，结合CMOS-忆阻器混合单元，通过读使能信号实现模式控制。

ABSTRACT

Deep neural network inference accelerators are rapidly growing in importance as we turn to massively parallelized processing beyond GPUs and ASICs. The dominant operation in feedforward inference is the multiply-and-accumlate process, where each column in a crossbar generates the current response of a single neuron. As a result, memristor crossbar arrays parallelize inference and image processing tasks very efficiently. In this brief, we present a 3-D active memristor crossbar array `CrossStack', which adopts stacked pairs of Al/TiO2/TiO2-x/Al devices with common middle electrodes. By designing CMOS-memristor hybrid cells used in the layout of the array, CrossStack can operate in one of two user-configurable modes as a reconfigurable inference engine: 1) expansion mode and 2) deep-net mode. In expansion mode, the resolution of the network is doubled by increasing the number of inputs for a given chip area, reducing IR drop by 22%. In deep-net mode, inference speed per-10-bit convolution is improved by 29\% by simultaneously using one TiO2/TiO2-x layer for read processes, and the other for write processes. We experimentally verify both modes on our $10 imes10 imes2$ array.

研究动机与目标

• 为应对GPU和ASIC之外对高吞吐量、可重构硬件加速器日益增长的需求。
• 克服现有3D RRAM阵列的局限性，这些阵列大多仅限于数字存储，缺乏对不断演进的神经网络架构的适应能力。
• 实现硬件可重构性，以实现对新型网络拓扑的动态适应，而无需重新设计周期。
• 通过创新的3D忆阻器交叉阵列架构实现双工作模式，降低IR压降并提升推理速度。
• 通过CMOS混合单元设计，展示在3D堆叠RRAM阵列中实现流水线读写操作的实验可行性。

提出的方法

• CrossStack架构采用一对3D堆叠的Al/TiO₂/TiO₂₋ₓ/Al忆阻器交叉阵列，共享中间电极，以实现双层操作。
• 采用CMOS-忆阻器混合单元，通过读使能（RE）信号控制模式选择：高RE电平用于扩展模式，低RE电平用于深度网络模式。
• 在扩展模式下，两层共同贡献于同一列电流，有效将每列的输入数量加倍，同时将导线电阻减半。
• 在深度网络模式下，一层用于读操作，另一层用于写操作，实现流水线处理。
• 该设计利用基尔霍夫电流定律和欧姆定律，通过电导加权电流求和实现模拟矩阵-向量乘法：i = V^i G。
• 系统采用10×10×2阵列，使用SK Hynix 180nm CMOS工艺制造，每层均配备独立控制的CMOS电路。

实验结果

研究问题

• RQ1 能否将3D堆叠RRAM交叉阵列架构重构为支持两种不同推理模式，以提升性能与可扩展性？
• RQ2 如何在不增加芯片面积的前提下降低高密度交叉阵列中的IR压降？
• RQ3 在3D RRAM阵列中，流水线读写操作能在多大程度上提升推理吞吐量？
• RQ4 在可重构交叉阵列中使用单比特忆阻器进行模拟推理时，性能与可靠性之间的权衡如何？
• RQ5 在3D忆阻器堆叠中使用共享中间电极，对信号完整性和能效有何影响？

主要发现

• 扩展模式将每列的输入数量加倍，与等效的2D阵列相比，IR压降降低22%。
• 深度网络模式通过在两个隔离层上实现读写操作的并行化，使每10位卷积的推理速度提升29%。
• 瞬态分析显示，最坏情况下的电流偏差为理想值的8%，表明由于器件差异性，每忆阻器的实际有效位数约为3.5位。
• 10ns的读出时间被保守的1比特/单元情况下25ns的编程时间所覆盖，证实了原位流水线的有效性。
• 观察到高写电压（VIN > 3V）下的漏电流和非线性现象，但设计中亚阈值漏电流极低。
• 电容耦合和热耗散仍是3D集成中的挑战，尽管更宽的金属层间距有助于缓解耦合风险。