[论文解读] FORMS: Fine-grained Polarized ReRAM-based In-situ Computation for Mixed-signal DNN Accelerator

Geng Yuan, Payman Behnam+9 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Memory and Neural Computing参考文献 76被引用 9

一句话总结

FORMS 提出了一种基于 ReRAM 的细粒度、极化型 DNN 加速器，通过在子阵列内强制实现同符号权重，实现了无需加倍交叉开关面积或增加偏置电路的高效原位矩阵-向量乘法。通过结合基于 ADMM 的权重极化、结构化剪枝、量化以及零值跳过逻辑，FORMS 在设备变异下仅造成极小的精度损失，相比 ISAAC 实现了高达 377.9× 的加速比和 1.93× 的能效提升。

ABSTRACT

Recent works demonstrated the promise of using resistive random access memory (ReRAM) as an emerging technology to perform inherently parallel analog domain in-situ matrix-vector multiplication -- the intensive and key computation in DNNs. With weights stored in the ReRAM crossbar cells as conductance, when the input vector is applied to word lines, the matrix-vector multiplication results can be generated as the current in bit lines. A key problem is that the weight can be either positive or negative, but the in-situ computation assumes all cells on each crossbar column with the same sign. The current architectures either use two ReRAM crossbars for positive and negative weights, or add an offset to weights so that all values become positive. Neither solution is ideal: they either double the cost of crossbars, or incur extra offset circuity. To better solve this problem, this paper proposes FORMS, a fine-grained ReRAM-based DNN accelerator with polarized weights. Instead of trying to represent the positive/negative weights, our key design principle is to enforce exactly what is assumed in the in-situ computation -- ensuring that all weights in the same column of a crossbar have the same sign. It naturally avoids the cost of an additional crossbar. Such weights can be nicely generated using alternating direction method of multipliers (ADMM) regularized optimization, which can exactly enforce certain patterns in DNN weights. To achieve high accuracy, we propose to use fine-grained sub-array columns, which provide a unique opportunity for input zero-skipping, significantly avoiding unnecessary computations. It also makes the hardware much easier to implement. Putting all together, with the same optimized models, FORMS achieves significant throughput improvement and speed up in frame per second over ISAAC with similar area cost.

研究动机与目标

• 解决在 ReRAM 交叉开关中表示带符号权重时，避免硬件成本加倍或增加偏置电路的挑战。
• 通过在细粒度子阵列内强制实现同符号权重，实现在模拟域内高效原位矩阵-向量乘法。
• 通过算法-硬件协同设计，提升混合信号 DNN 加速器的能效与面积效率。
• 通过采用细粒度架构与零值跳过优化，降低对器件非理想性和噪声的敏感度。
• 在保持模型精度的同时，实现高吞吐量与低延迟的 DNN 推理，且对硬件变异具有鲁棒性。

提出的方法

• 应用带正则化的交替方向乘子法（ADMM）训练 DNN，使同一子阵列列中的所有权重符号相同，从而支持原位计算。
• 将 ReRAM 交叉开关划分为细粒度的逻辑子阵列（如 8×8 或 16×16），在局部范围内强制实现同符号约束，降低硬件复杂度与噪声敏感度。
• 引入零值跳过逻辑，当输入激活为零时跳过计算，显著减少不必要的操作与计算时间。
• 集成结构化剪枝与量化技术，减小模型尺寸与硬件资源需求，同时保持精度。
• 设计支持模拟计算与高效 ADC 转换的混合信号架构，实现更低的面积与功耗开销。
• 采用对数正态分布建模评估器件变异下的鲁棒性，验证在制造非理想性下的抗干扰能力。

Figure 1: Overall Flow of FORMS Algorithm/Hardware Co-designed.

实验结果

研究问题

• RQ1 在细粒度 ReRAM 子阵列内施加同符号权重约束，是否可消除混合信号 DNN 加速器中对双交叉开关或偏置电路的需求？
• RQ2 基于 ADMM 的优化在不降低 DNN 精度的前提下，能在多大程度上实现极化权重模式？
• RQ3 零值跳过逻辑在 ReRAM 原位加速器中，对减少计算时间与提升吞吐量的效率如何？
• RQ4 与最先进设计相比，极化、剪枝、量化与零值跳过技术的综合影响在能效与吞吐量方面表现如何？
• RQ5 所提出的架构对 ReRAM 器件变异的鲁棒性如何？在真实非理想条件下是否能保持精度？

主要发现

• 当所有优化技术均启用且分块大小为 16 时，FORMS 相较原始 ISAAC 加速器在帧每秒（fps）上实现了最高达 377.9× 的加速比。
• 仅优化框架本身即可将 ISAAC 的性能从 10.7× 提升至 377.9× 加速比，充分体现了算法-硬件协同设计的强大潜力。
• FORMS 在与优化后 ISAAC 几乎相同的功耗与面积成本下，实现了 1.50× 的面积效率提升与 1.93× 的能效提升。
• 在 10% 器件变异（对数正态分布，σ=0.1）条件下，使用极化与量化后，CIFAR-10 上精度下降仅 1.8%，ImageNet 上下降 4.2%，表现极低敏感度。
• 零值跳过逻辑贡献显著，与模型优化结合后，使加速比从 10.7× 提升至 377.9×，尤其在分块大小为 16 时效果最显著。
• 该架构对非理想性具有强鲁棒性，剪枝在变异条件下仅引入额外 1.3% 的精度下降，可通过调整剪枝率有效控制。

Figure 2: Structured pruning