[论文解读] Edge AI without Compromise: Efficient, Versatile and Accurate Neurocomputing in Resistive Random-Access Memory

Weier Wan, Rajkumar Kubendran+12 more|arXiv (Cornell University)|Aug 17, 2021

Advanced Memory and Neural Computing参考文献 52被引用 11

一句话总结

该论文提出了NeuRRAM，这是首个基于阻变随机存取存储器（RRAM）的存内计算芯片，可在多模态边缘人工智能工作负载中同时实现高能效、多功能性和高精度。通过协同优化算法、架构、电路和器件，NeuRRAM在多种位精度下相比以往技术实现了5×–8×的能效提升，同时在MNIST和CIFAR-10等基准测试中保持了软件级精度，分别达到99.0%和85.7%。

ABSTRACT

Realizing today's cloud-level artificial intelligence functionalities directly on devices distributed at the edge of the internet calls for edge hardware capable of processing multiple modalities of sensory data (e.g. video, audio) at unprecedented energy-efficiency. AI hardware architectures today cannot meet the demand due to a fundamental "memory wall": data movement between separate compute and memory units consumes large energy and incurs long latency. Resistive random-access memory (RRAM) based compute-in-memory (CIM) architectures promise to bring orders of magnitude energy-efficiency improvement by performing computation directly within memory. However, conventional approaches to CIM hardware design limit its functional flexibility necessary for processing diverse AI workloads, and must overcome hardware imperfections that degrade inference accuracy. Such trade-offs between efficiency, versatility and accuracy cannot be addressed by isolated improvements on any single level of the design. By co-optimizing across all hierarchies of the design from algorithms and architecture to circuits and devices, we present NeuRRAM - the first multimodal edge AI chip using RRAM CIM to simultaneously deliver a high degree of versatility for diverse model architectures, record energy-efficiency $5 imes$ - $8 imes$ better than prior art across various computational bit-precisions, and inference accuracy comparable to software models with 4-bit weights on all measured standard AI benchmarks including accuracy of 99.0% on MNIST and 85.7% on CIFAR-10 image classification, 84.7% accuracy on Google speech command recognition, and a 70% reduction in image reconstruction error on a Bayesian image recovery task. This work paves a way towards building highly efficient and reconfigurable edge AI hardware platforms for the more demanding and heterogeneous AI applications of the future.

研究动机与目标

• 通过在阻变随机存取存储器（RRAM）中集成计算以实现存内计算，解决边缘AI硬件中能效受限的根本性‘内存墙’问题。
• 克服现有存内计算（CIM）架构中效率、多功能性和精度之间的权衡。
• 在单一可重构硬件平台上实现对图像、音频和贝叶斯重建等多样化AI工作负载的高性能推理。
• 尽管RRAM器件存在固有硬件缺陷，仍实现与软件相当的推理精度。
• 展示一种涵盖算法、架构、电路和器件的协同设计方法，以实现边缘AI系统的整体优化。

提出的方法

• 采用RRAM交叉阵列实现存内计算（CIM）架构，直接在内存中执行矩阵-向量乘法，消除片外数据传输。
• 实现混合精度处理方案，支持4位、8位和16位权重，以在不同模型间平衡精度与能效。
• 设计多级校准与误差补偿框架，以缓解RRAM器件非理想特性（如电阻漂移和可变性）的影响。
• 集成可重构控制逻辑与片上内存管理，支持在不同AI模型类型和输入模态间动态切换。
• 采用分层协同设计方法：同步优化神经网络量化、存储阵列布局、模拟电路设计和器件特性。
• 利用定制的模数转换（ADC）与数字信号处理流水线，以在模拟计算噪声存在的情况下维持高推理精度。

实验结果

研究问题

• RQ1 单一RRAM基CIM架构能否在多种AI工作负载中同时实现高能效、功能多功能性和高推理精度？
• RQ2 如何有效补偿RRAM器件中的硬件缺陷，以在边缘AI推理中保持模型精度？
• RQ3 在算法、架构、电路和器件层面进行协同设计，能在多大程度上消除效率、多功能性和精度之间的权衡？
• RQ4 在标准基准测试中，基于软件的AI模型与RRAM基硬件推理之间的性能差距可达到多大？
• RQ5 可重构RRAM CIM芯片能否在不降低性能的前提下支持多模态AI任务——包括图像分类、语音识别和贝叶斯图像恢复？

主要发现

• NeuRRAM在4位、8位和16位推理任务中相比以往技术实现了5×–8×的能效提升，显著优于现有CIM解决方案。
• 该芯片在MNIST图像分类基准测试中达到99.0%的准确率，在CIFAR-10上达到85.7%，与全精度软件模型性能相当。
• 在Google的语音命令识别任务中，NeuRRAM实现84.7%的准确率，表明其在多模态任务中的鲁棒性。
• 在贝叶斯图像恢复任务中，NeuRRAM相比基线方法将图像重建误差降低了70%，表明其在生成与逆问题中的优异性能。
• 由于有效的误差补偿与校准技术，系统在所有测试的位精度下均保持高精度。
• 协同设计框架实现了不同AI模型与输入类型之间的无缝重构，证明了该芯片在异构边缘AI工作负载中的多功能性。