[论文解读] ADMM-NN: An Algorithm-Hardware Co-Design Framework of DNNs Using Alternating Direction Method of Multipliers

Ao Ren, Tianyun Zhang+6 more|arXiv (Cornell University)|Dec 31, 2018

Advanced Neural Network Applications参考文献 54被引用 11

一句话总结

ADMM-NN 提出了一种用于深度神经网络（DNN）压缩的联合算法-硬件协同设计框架，采用交替方向乘子法（ADMM），实现权重剪枝与量化的同时优化，并引入动态正则化。该方法在 LeNet-5 上实现高达 1,910× 的模型尺寸压缩，在 AlexNet 上实现 231× 的压缩，且无精度损失，同时通过收支平衡剪枝比率分析与计算感知优化，确保硬件性能提升。

ABSTRACT

To facilitate efficient embedded and hardware implementations of deep neural networks (DNNs), two important categories of DNN model compression techniques: weight pruning and weight quantization are investigated. The former leverages the redundancy in the number of weights, whereas the latter leverages the redundancy in bit representation of weights. However, there lacks a systematic framework of joint weight pruning and quantization of DNNs, thereby limiting the available model compression ratio. Moreover, the computation reduction, energy efficiency improvement, and hardware performance overhead need to be accounted for besides simply model size reduction. To address these limitations, we present ADMM-NN, the first algorithm-hardware co-optimization framework of DNNs using Alternating Direction Method of Multipliers (ADMM), a powerful technique to deal with non-convex optimization problems with possibly combinatorial constraints. The first part of ADMM-NN is a systematic, joint framework of DNN weight pruning and quantization using ADMM. It can be understood as a smart regularization technique with regularization target dynamically updated in each ADMM iteration, thereby resulting in higher performance in model compression than prior work. The second part is hardware-aware DNN optimizations to facilitate hardware-level implementations. Without accuracy loss, we can achieve 85$ imes$ and 24$ imes$ pruning on LeNet-5 and AlexNet models, respectively, significantly higher than prior work. The improvement becomes more significant when focusing on computation reductions. Combining weight pruning and quantization, we achieve 1,910$ imes$ and 231$ imes$ reductions in overall model size on these two benchmarks, when focusing on data storage. Highly promising results are also observed on other representative DNNs such as VGGNet and ResNet-50.

研究动机与目标

• 为解决 DNN 中权重剪枝与量化联合优化缺乏系统性框架的问题。
• 克服以往启发式与贪心方法在最大化压缩率方面的局限性。
• 协同优化 DNN 模型压缩与硬件性能，综合考虑计算减少、能效提升以及由非规则稀疏性带来的硬件开销。
• 提出收支平衡剪枝比率概念，防止关键层（如首个卷积层）性能下降。
• 在不损失精度的前提下实现高倍压缩率，同时确保硬件效率与加速性能。

提出的方法

• 利用 ADMM 联合优化权重剪枝与量化，将二者视为带有组合约束的非凸优化问题。
• 采用动态正则化，即在每次 ADMM 步骤中迭代更新正则化目标，以实现更智能的稀疏模式与量化方案。
• 引入硬件感知优化策略，优先在卷积层而非全连接层进行剪枝，以最大化计算与能效效率。
• 为每层定义收支平衡剪枝比率——即避免硬件性能下降的最小剪枝比率，实现性能感知的剪枝决策。
• 基于 ADMM 的优化过程同时考虑模型尺寸缩减与硬件性能开销，尤其关注剪枝权重中非规则稀疏性带来的影响。
• 通过 SMIC 40nm ASIC 综合验证硬件加速效果，确保结果在 FPGA 与 ASIC 平台具有代表性。

实验结果

研究问题

• RQ1 统一框架能否比现有启发式或贪心方法更有效地联合优化 DNN 权重剪枝与量化？
• RQ2 在 DNN 压缩过程中，如何建模并缓解由非规则稀疏性带来的硬件性能开销？
• RQ3 每层最优剪枝比率为何值时，可在不引起性能下降的前提下实现最大压缩率？
• RQ4 与先前工作相比，ADMM 基于的优化方法在不损失精度的前提下，能否实现更高的压缩率？
• RQ5 硬件感知的 DNN 压缩能否在实际合成加速器中实现真实加速效果，即使考虑计算与内存瓶颈？

主要发现

• ADMM-NN 在 LeNet-5 和 AlexNet 上分别实现了 1,910× 和 231× 的整体模型尺寸压缩，且无精度损失。
• 该框架在 LeNet-5 和 AlexNet 上分别实现了 85× 和 24× 的权重剪枝比率，显著优于先前工作。
• 在不损失精度的前提下，该方法将计算量减少 3.6×，优于现有方法。
• 硬件综合结果表明，与基线模型相比，ADMM-NN 实现了加速效果，而基线模型因非规则稀疏性与不良剪枝决策导致性能下降。
• 首个卷积层保持未剪枝状态（剪枝比率 < 收支平衡阈值），因其为性能瓶颈，剪枝将导致性能下降。
• 该方法具有良好的泛化能力，在 VGGNet 与 ResNet-50 上也取得优异结果，证明其在多种 DNN 架构中的可扩展性。