[论文解读] Mixed-Precision Neural Networks: A Survey

Mariam Rakka, Mohammed E. Fouda+2 more|arXiv (Cornell University)|Aug 11, 2022

Advanced Neural Network Applications被引用 15

一句话总结

本综述对混合精度神经网络（MXPDNNs）进行了全面分析，回顾了优化各层位宽分配以平衡精度与硬件效率的量化技术与框架。评估了强化学习、确定性舍入及混合方法，突出显示了其中的权衡，并为未来具备硬件感知能力、运行时可配置且精度保持稳定的MXPDNN框架提供了指导方针。

ABSTRACT

Mixed-precision Deep Neural Networks achieve the energy efficiency and throughput needed for hardware deployment, particularly when the resources are limited, without sacrificing accuracy. However, the optimal per-layer bit precision that preserves accuracy is not easily found, especially with the abundance of models, datasets, and quantization techniques that creates an enormous search space. In order to tackle this difficulty, a body of literature has emerged recently, and several frameworks that achieved promising accuracy results have been proposed. In this paper, we start by summarizing the quantization techniques used generally in literature. Then, we present a thorough survey of the mixed-precision frameworks, categorized according to their optimization techniques such as reinforcement learning and quantization techniques like deterministic rounding. Furthermore, the advantages and shortcomings of each framework are discussed, where we present a juxtaposition. We finally give guidelines for future mixed-precision frameworks.

研究动机与目标

• 系统性地调查优化深度神经网络中各层位宽分配的混合精度框架。
• 分析混合精度量化中模型精度、计算效率与硬件约束之间的权衡。
• 评估现有优化技术（包括强化学习、确定性舍入以及联合剪枝-量化）的优势与局限性。
• 为设计具备硬件感知能力、运行时可配置性及鲁棒精度的未来混合精度框架提供可操作的指导。
• 识别在搜索空间复杂度、动态资源自适应以及隐私敏感系统（如医疗应用）中部署方面的开放挑战。

提出的方法

• 根据其优化技术对混合精度框架进行分类：强化学习、可微搜索与确定性舍入。
• 调研包括训练后量化、基于微调的量化以及非均匀量化器在内的量化方法，以在低精度约束下保持精度。
• 分析逐层、逐通道与逐参数的位宽分配策略，以评估粒度与效率之间的权衡。
• 评估联合优化量化与剪枝的混合框架（如APQ、OPQ与Bayesian Bits），采用可学习门控与基于重要性的阈值设定方法。
• 在数据集（ImageNet、CIFAR-10）与模型（AlexNet、ResNet-18、ResNet-20）上进行基准测试，比较MXPDNN与BNN的Top-1精度。
• 提出一种框架设计分类法，强调硬件感知能力、运行时可适配性以及模型压缩与精度之间的平衡。

实验结果

研究问题

• RQ1 不同优化技术（如强化学习与确定性舍入）如何影响混合精度DNN的精度与效率？
• RQ2 在标准基准测试中，固定精度与混合精度框架在Top-1精度与能效方面存在多大性能差距？
• RQ3 联合量化与剪枝策略在不牺牲精度的前提下，能在多大程度上提升模型压缩效果？
• RQ4 如何使混合精度框架能够适应运行时的动态硬件资源约束？
• RQ5 未来混合精度框架的关键设计原则是什么，以在精度、效率与硬件兼容性之间实现平衡？

主要发现

• 如SLWP与TSQ等混合精度框架在Top-1精度上优于BNN，其中TSQ在AlexNet上于ImageNet上达到58.0%，而SLWP为52.54%。
• 在ResNet-18上，DQ框架在混合精度设置下实现70.66%的Top-1精度，优于BNN基线CBCN的61.4%。
• 在CIFAR-10上的ResNet-20上，MXPDNN如DQ实现92.6%的Top-1精度，与BNN BBG的92.5%非常接近，表明混合精度下精度损失极小。
• Bayesian Bits中可学习门控的使用实现了按参数动态调整位宽，可通过禁用低精度通道实现剪枝。
• OPQ通过将剪枝率建模为优化问题，并利用拉格朗日乘子与牛顿-拉夫森法求解，实现一次完成的剪枝与量化。
• 逐层位宽组合的指数级搜索空间使得手动或暴力分配不可行，因此必须采用自动化或学习型分配策略。