[论文解读] A SOT-MRAM-based Processing-In-Memory Engine for Highly Compressed DNN Implementation

Geng Yuan, Xiaolong Ma+3 more|arXiv (Cornell University)|Nov 24, 2019

Advanced Neural Network Applications参考文献 34被引用 9

一句话总结

该论文提出了一种基于ADMM的模型压缩框架，用于SOT-MRAM架构的存内计算（PIM）引擎，以实现高度压缩、能效更高的深度神经网络（DNN）推理。通过在训练过程中联合应用结构化权重重剪枝和低比特量化，并利用ADMM方法，该方法在保持高精度的同时显著降低了SOT-MRAM的存储占用和功耗，提升了吞吐量，在MNIST数据集上实现了高达81.3倍的压缩率，且精度损失极小。

ABSTRACT

The computing wall and data movement challenges of deep neural networks (DNNs) have exposed the limitations of conventional CMOS-based DNN accelerators. Furthermore, the deep structure and large model size will make DNNs prohibitive to embedded systems and IoT devices, where low power consumption are required. To address these challenges, spin orbit torque magnetic random-access memory (SOT-MRAM) and SOT-MRAM based Processing-In-Memory (PIM) engines have been used to reduce the power consumption of DNNs since SOT-MRAM has the characteristic of near-zero standby power, high density, none-volatile. However, the drawbacks of SOT-MRAM based PIM engines such as high writing latency and requiring low bit-width data decrease its popularity as a favorable energy efficient DNN accelerator. To mitigate these drawbacks, we propose an ultra energy efficient framework by using model compression techniques including weight pruning and quantization from the software level considering the architecture of SOT-MRAM PIM. And we incorporate the alternating direction method of multipliers (ADMM) into the training phase to further guarantee the solution feasibility and satisfy SOT-MRAM hardware constraints. Thus, the footprint and power consumption of SOT-MRAM PIM can be reduced, while increasing the overall system throughput at the meantime, making our proposed ADMM-based SOT-MRAM PIM more energy efficiency and suitable for embedded systems or IoT devices. Our experimental results show the accuracy and compression rate of our proposed framework is consistently outperforming the reference works, while the efficiency (area \& power) and throughput of SOT-MRAM PIM engine is significantly improved.

研究动机与目标

• 解决在嵌入式和物联网系统中部署大规模DNN时面临的能耗与硬件资源限制。
• 通过软件级模型压缩方法，克服SOT-MRAM PIM架构的局限性，如高写入延迟和低比特宽支持。
• 开发一个统一框架，整合结构化剪枝与低比特量化，以匹配SOT-MRAM硬件约束。
• 通过在训练阶段引入ADMM，确保压缩后模型精度高且映射到硬件后具有可行性。
• 通过优化模型压缩，提升SOT-MRAM PIM引擎的系统吞吐量，并降低功耗与面积消耗。

提出的方法

• 利用交替方向乘子法（ADMM）将权重重剪枝与量化建模为优化问题，实现对结构化稀疏性和低比特表示的迭代与解析求解。
• 采用融合的剪枝策略，包括滤波器、通道和卷积核剪枝，以最大化硬件效率并最小化冗余计算。
• 设计具有微小且规则空间模式的结构化剪枝模型，天然适配SOT-MRAM PIM的位并行处理架构，实现高效的存内计算。
• 将压缩后的DNN模型映射至SOT-MRAM PIM引擎，通过按位卷积操作（使用AND、位计数和位移操作）实现高能效计算。
• 实验中采用8位量化，以减少子阵列行数，进一步降低面积与功耗。
• 利用Cacti 7进行缓冲器与互连模型建模，使用NVSim并结合修改后的SOT-MRAM参数估算内存子阵列的功耗与面积，同时引入外部ADC的功耗与面积数据。

实验结果

研究问题

• RQ1 通过ADMM联合实现结构化剪枝与低比特量化，是否能在SOT-MRAM PIM架构上实现高倍率压缩，同时保持DNN的精度？
• RQ2 与标准剪枝或二值化方法相比，基于ADMM的压缩在提升解决方案可行性与硬件兼容性方面有何优势？
• RQ3 在不降低系统吞吐量的前提下，模型压缩能在多大程度上减少SOT-MRAM PIM引擎的面积与功耗？
• RQ4 在SOT-MRAM PIM系统中，采用不同类型的剪枝（滤波器、通道、卷积核）时，压缩率、精度与硬件效率之间的权衡如何？
• RQ5 在标准基准测试中，与现有最先进压缩方法相比，所提出的框架在压缩率、精度与能效方面表现如何？

主要发现

• 所提出的框架在MNIST数据集的LeNet-5上实现了81.3倍的压缩率，精度仅下降0.02%，压缩率比Group Scissor高出19.4倍。
• 在CIFAR-10数据集上，该框架在ResNet-18和VGG-16上分别实现了59.8倍和44.8倍的压缩率，精度损失极小，优于基线方法。
• 在ImageNet数据集上，该框架在AlexNet、ResNet-18和VGG-16上分别实现了5.2倍、3.0倍和2.7倍的压缩率，同时保持了与基线模型相差不超过1%的top-1精度。
• 通道剪枝对功耗与面积的降低贡献最大，通过移除完整的处理单元及其外围电路实现。
• 滤波器与卷积核剪枝通过减少SOT-MRAM子阵列中的计算迭代次数，提升了系统吞吐量。
• 与未压缩设计相比，SOT-MRAM PIM引擎的功耗与面积显著降低，整体系统吞吐量得到提升。