[论文解读] Differentiable Joint Pruning and Quantization for Hardware Efficiency

Ying Wang, Yadong Lu+1 more|arXiv (Cornell University)|Jul 20, 2020

Advanced Neural Network Applications参考文献 35被引用 5

一句话总结

本文提出可微分联合剪枝与量化（DJPQ），一种统一的可微分框架，联合优化结构化剪枝与混合精度量化，以实现硬件高效推理。通过在单一损失函数中整合基于变分信息瓶颈的剪枝与可微分量化，DJPQ 实现了最先进的 BOPs 减少——在 ImageNet 上，ResNet18 减少 53 倍，MobileNetV2 减少 43 倍，同时保持了顶级准确率，优于两阶段方法，并支持幂次二比特限制的量化，精度损失极小。

ABSTRACT

We present a differentiable joint pruning and quantization (DJPQ) scheme. We frame neural network compression as a joint gradient-based optimization problem, trading off between model pruning and quantization automatically for hardware efficiency. DJPQ incorporates variational information bottleneck based structured pruning and mixed-bit precision quantization into a single differentiable loss function. In contrast to previous works which consider pruning and quantization separately, our method enables users to find the optimal trade-off between both in a single training procedure. To utilize the method for more efficient hardware inference, we extend DJPQ to integrate structured pruning with power-of-two bit-restricted quantization. We show that DJPQ significantly reduces the number of Bit-Operations (BOPs) for several networks while maintaining the top-1 accuracy of original floating-point models (e.g., 53x BOPs reduction in ResNet18 on ImageNet, 43x in MobileNetV2). Compared to the conventional two-stage approach, which optimizes pruning and quantization independently, our scheme outperforms in terms of both accuracy and BOPs. Even when considering bit-restricted quantization, DJPQ achieves larger compression ratios and better accuracy than the two-stage approach.

研究动机与目标

• 解决传统两阶段压缩流水线中剪枝与量化独立优化导致的低效问题。
• 通过统一的可微分目标，实现模型稀疏性与比特精度权衡的全局优化。
• 通过支持在大多数数字加速器上原生高效的幂次二比特宽度混合精度量化，提升硬件效率。
• 通过在单次训练过程中实现端到端压缩，减少对迭代训练与微调的需求。
• 通过剪枝与量化联合优化，在实现极端压缩比的同时保持高模型准确率。

提出的方法

• 将模型压缩建模为联合可微分优化问题，采用结合变分信息瓶颈（VIB）用于结构化剪枝与可微分量化（DQ）用于混合精度的损失函数。
• 将基于 VIB 的通道剪枝与可学习温度参数相结合，实现在各层上的基于梯度的稀疏性控制。
• 对每层应用可微分量化并使用可学习比特宽度，实现每层精度的基于梯度的优化。
• 通过可微分松弛方法扩展框架，以支持幂次二比特限制的量化，强制执行比特宽度约束。
• 使用随机梯度下降优化联合目标，实现单次前向-反向传播的端到端训练。
• 使用比特操作数（BOPs）作为硬件感知的代理度量，评估压缩效率并指导优化。

实验结果

研究问题

• RQ1 通过可微分训练联合优化剪枝与量化，是否能比两阶段方法实现更好的硬件效率？
• RQ2 与独立剪枝和量化相比，联合优化对模型准确率和 BOPs 减少的影响如何？
• RQ3 该方法在实际的幂次二比特限制约束下，能否有效学习混合精度比特宽度？
• RQ4 网络各层中剪枝率与学习到的比特宽度分布之间存在何种关系？
• RQ5 与启发式或固定比特量化策略相比，联合优化是否能带来更高效且更准确的模型压缩？

主要发现

• DJPQ 在 ImageNet 上使 ResNet18 的比特操作数（BOPs）减少 53 倍，与全精度模型相比仅损失 0.5% 准确率。
• 对于 MobileNetV2，DJPQ 实现了 43 倍的 BOPs 减少，同时保持了与原始浮点模型相差不超过 0.75% 的 top-1 准确率。
• 与两阶段方法（先剪枝后量化）相比，DJPQ 在相近的 BOPs 减少水平下实现了更高的准确率（69.27% vs 68.52%）。
• DJPQ 的比特限制变体（DJPQ-restrict）在 ResNet18 上实现了 52 倍的 BOPs 减少，精度损失可忽略不计，优于 DQ-restrict 和固定比特基线。
• 逐层分析表明，早期层被大幅剪枝，而 MobileNetV2 中的残差连接与逐点卷积则被分配了更高的比特宽度，反映出其对压缩的敏感性。
• VIB 中学习到的温度参数与剪枝强度相关：值越低表示剪枝越严重，未剪枝的层温度接近 1，表明剪枝与量化之间存在动态交互。