[论文解读] An Ultra-Efficient Memristor-Based DNN Framework with Structured Weight Pruning and Quantization Using ADMM

Geng Yuan, Xiaolong Ma+8 more|arXiv (Cornell University)|Aug 29, 2019

Advanced Memory and Neural Computing参考文献 35被引用 7

一句话总结

该论文提出了一种统一的基于忆阻器的DNN框架，通过ADMM联合优化结构化权重量剪枝与量化，实现超低功耗和面积效率。该方法在VGG-16上实现了高达29.81×的权重量压缩，仅损失0.5%的精度，同时功耗降低98.38%，面积减少98.29%，并满足导纳范围和器件失配等硬件约束条件。

ABSTRACT

The high computation and memory storage of large deep neural networks (DNNs) models pose intensive challenges to the conventional Von-Neumann architecture, incurring substantial data movements in the memory hierarchy. The memristor crossbar array has emerged as a promising solution to mitigate the challenges and enable low-power acceleration of DNNs. Memristor-based weight pruning and weight quantization have been seperately investigated and proven effectiveness in reducing area and power consumption compared to the original DNN model. However, there has been no systematic investigation of memristor-based neuromorphic computing (NC) systems considering both weight pruning and weight quantization. In this paper, we propose an unified and systematic memristor-based framework considering both structured weight pruning and weight quantization by incorporating alternating direction method of multipliers (ADMM) into DNNs training. We consider hardware constraints such as crossbar blocks pruning, conductance range, and mismatch between weight value and real devices, to achieve high accuracy and low power and small area footprint. Our framework is mainly integrated by three steps, i.e., memristor-based ADMM regularized optimization, masked mapping and retraining. Experimental results show that our proposed framework achieves 29.81X (20.88X) weight compression ratio, with 98.38% (96.96%) and 98.29% (97.47%) power and area reduction on VGG-16 (ResNet-18) network where only have 0.5% (0.76%) accuracy loss, compared to the original DNN models. We share our models at link http://bit.ly/2Jp5LHJ.

研究动机与目标

• 解决大型DNN在传统冯·诺依曼架构上日益增长的计算与内存需求。
• 克服忆阻器类脑计算中的硬件限制，如负载不平衡、不规则内存访问及器件缺陷。
• 系统性地整合忆阻器DNN中的结构化权重量剪枝与权重量量化，以最大化压缩率与能效。
• 通过在训练过程中引入真实忆阻器约束，确保模型高精度与硬件可行性。
• 开发一种统一框架，通过ADMM联合优化剪枝与量化，最小化精度损失，同时最大化硬件效率。

提出的方法

• 在DNN训练过程中应用ADMM，联合优化结构化权重量剪枝与量化，实现在硬件约束下的端到端优化。
• 将硬件特定约束（如交叉条块剪枝、导纳范围限制、器件失配）整合进ADMM正则化优化过程。
• 采用掩码映射以强制实现结构化稀疏性，确保与忆阻器交叉条阵列架构的兼容性。
• 在剪枝与量化后进行微调，以恢复精度，并在硬件约束下优化模型性能。
• 设计零对称、层次分明的量化级别，避免将权重映射至零，减少量化误差并提升硬件映射保真度。
• 在量化过程中建模忆阻器缺陷（如状态漂移、工艺失配）的影响，以增强鲁棒性与精度。

实验结果

研究问题

• RQ1 能否在基于忆阻器的DNN框架中联合优化结构化权重量剪枝与量化，以实现更高的压缩率与更低的功耗？
• RQ2 在真实忆阻器硬件约束下，ADMM-based优化如何提升剪枝与量化联合集成后的精度与可行性？
• RQ3 在VGG-16与ResNet-18等深度网络上应用联合剪枝与量化时，压缩率、功耗/面积降低与精度损失之间的权衡关系如何？
• RQ4 硬件感知量化在多大程度上可缓解忆阻器缺陷（如导纳失配与状态漂移）的影响？
• RQ5 与现有方法（如Group Scissor）相比，所提出的框架在压缩率、精度与能效方面表现如何？

主要发现

• 所提框架在VGG-16（ResNet-18）上实现了29.81×（20.88×）的权重量压缩率，与原始模型相比仅损失0.5%（0.76%）精度。
• 在VGG-16上，功耗与面积分别降低98.38%与98.29%；在ResNet-18上，分别降低96.96%与97.47%，均基于5位量化。
• 在LeNet-5与ConvNet上，该框架在精度与压缩率方面均优于Group Scissor，在6位量化下实现17.69×压缩率，仅损失0.1%精度。
• 在CIFAR-10数据集上，VGG-16与ResNet-18等深层网络在高倍压缩下仍保持接近理想的精度：分别在29.81×与20.88×压缩率下仅损失0.8%与0.6%精度。
• 5位量化在所有测试网络中均实现最大功耗与面积降低——功耗降低最高达98.38%，面积降低最高达98.29%。
• 通过避免量化过程中的零映射并整合器件级缺陷至优化过程，该框架在保持高精度与硬件可行性方面表现优异。