[论文解读] AnalogNets: ML-HW Co-Design of Noise-robust TinyML Models and Always-On Analog Compute-in-Memory Accelerator

Chuteng Zhou, Fernando Garćıa-Redondo+8 more|arXiv (Cornell University)|Nov 10, 2021

Advanced Memory and Neural Computing参考文献 45被引用 8

一句话总结

AnalogNets 引入了一种协同设计的 TinyML 框架，结合了抗噪声的神经网络架构与基于相变存储器（PCM）的始终开启模拟存内计算（CiM）加速器。该方法在关键词识别和视觉唤醒词任务中分别实现了 8.58 TOPS/W 和 4.37 TOPS/W 的能效，且在 PCM 电导漂移 24 小时后仅出现 0.8%/1.2% 的准确率下降，展示了在真实硬件上的高能效与强鲁棒性。

ABSTRACT

Always-on TinyML perception tasks in IoT applications require very high energy efficiency. Analog compute-in-memory (CiM) using non-volatile memory (NVM) promises high efficiency and also provides self-contained on-chip model storage. However, analog CiM introduces new practical considerations, including conductance drift, read/write noise, fixed analog-to-digital (ADC) converter gain, etc. These additional constraints must be addressed to achieve models that can be deployed on analog CiM with acceptable accuracy loss. This work describes $ extit{AnalogNets}$: TinyML models for the popular always-on applications of keyword spotting (KWS) and visual wake words (VWW). The model architectures are specifically designed for analog CiM, and we detail a comprehensive training methodology, to retain accuracy in the face of analog non-idealities, and low-precision data converters at inference time. We also describe AON-CiM, a programmable, minimal-area phase-change memory (PCM) analog CiM accelerator, with a novel layer-serial approach to remove the cost of complex interconnects associated with a fully-pipelined design. We evaluate the AnalogNets on a calibrated simulator, as well as real hardware, and find that accuracy degradation is limited to 0.8$\%$/1.2$\%$ after 24 hours of PCM drift (8-bit) for KWS/VWW. AnalogNets running on the 14nm AON-CiM accelerator demonstrate 8.58/4.37 TOPS/W for KWS/VWW workloads using 8-bit activations, respectively, and increasing to 57.39/25.69 TOPS/W with $4$-bit activations.

研究动机与目标

• 为解决在具有非理想特性（如电导漂移和 ADC 噪声）的模拟存内计算（CiM）硬件上部署高精度、低功耗 TinyML 模型的挑战。
• 专门针对模拟 CiM 硬件协同设计神经网络架构与硬件加速器，确保对模拟非理想性和低精度量化具有鲁棒性。
• 开发一种最小面积、可编程的基于 PCM 的 CiM 加速器（AON-CiM），采用逐层串行执行模型，以降低互连复杂度。
• 在真实模拟硬件约束下实现高能效与最小准确率下降，尤其适用于始终开启的物联网应用。
• 证明系统性机器学习-硬件协同设计可实现在模拟 CiM 上接近浮点精度的性能，且相比基于 MCU 的解决方案能效高出数个数量级。

提出的方法

• 提出 AnalogNets：专为模拟 CiM 硬件设计的关键词识别（KWS）和视觉唤醒词（VWW）任务的定制 TinyML 模型架构。
• 采用全面的训练方法，在反向传播过程中引入模拟非理想性（如电导漂移、读写噪声和低精度 ADC）的模拟，以提升鲁棒性。
• 提出 AON-CiM 加速器，一种基于 14nm CMOS 工艺的 PCM 基存内计算硬件，采用新颖的逐层串行执行模型，可消除全流水线设计中的复杂互连。
• 使用基于 PWM 的 DAC 和低比特宽 ADC，以最小化面积与功耗，性能在 8、6 和 4 比特激活精度下可扩展。
• 采用校准仿真器和真实 PCM 测试芯片进行评估，验证在真实模拟条件下的准确率与能效。
• 应用激进的量化与模型压缩技术，包括剪枝和权重重用，以适应片上 NVM 和低精度计算的约束。

实验结果

研究问题

• RQ1 如何将 TinyML 模型与模拟 CiM 硬件协同设计，以在电导漂移和模拟噪声下仍保持高准确率？
• RQ2 对于实时 TinyML 推理任务，全芯片集成、始终开启的模拟 CiM 加速器可实现的能效是多少？
• RQ3 在模拟 CiM 中，采用逐层串行执行模型是否能降低硬件面积与复杂度，而不牺牲吞吐量或能效？
• RQ4 当结合模拟非理想性与低精度 ADC 时，激进量化（低至 4 比特激活）对模型准确率的影响如何？
• RQ5 在始终开启的 TinyML 应用中，ML-HW 协同设计在多大程度上可弥合数字基线与模拟 CiM 部署之间的准确率差距？

主要发现

• 在 PCM 电导漂移 24 小时后，AnalogNets 在 KWS 任务中实现 95.6% 的准确率，在 VWW 任务中实现 85.7% 的准确率，分别仅下降 0.8% 和 1.2%。
• AON-CiM 加速器在 8 比特激活精度下，KWS 和 VWW 的能效分别为 8.58 TOPS/W 和 4.37 TOPS/W，而在 4 比特精度下分别提升至 57.39 TOPS/W 和 25.69 TOPS/W。
• 吞吐量随层大小和纵横比提升，更大的、更高耸的层因分摊了 DAC/ADC 的能量开销，能实现更高的 TOPS/W。
• 逐层串行设计通过消除复杂互连，显著降低面积，总芯片面积为 3.2mm²，其中 3.07mm² 专用于 CiM 阵列。
• 与基于 MCU 的 TinyML 相比，能效提升了四个数量级：AON-CiM 的推理功耗为 8.2 μJ/推理，而 MCU 为 48.6 mJ/推理（KWS 任务）。
• 结果表明，系统性 ML-HW 协同设计可实现在模拟 CiM 硬件上接近理想模型准确率，使其适用于始终开启、能效受限的物联网应用。