[论文解读] Efficient Bitwidth Search for Practical Mixed Precision Neural Network

Yuhang Li, Wei Wang+4 more|arXiv (Cornell University)|Mar 17, 2020

Advanced Neural Network Applications参考文献 33被引用 14

一句话总结

该论文提出高效位宽搜索（EBS）与二值分解（BD），以实现在神经网络中高效且实用的混合精度量化。EBS 通过共享的元权重张量与可微软路由机制，以 O(1) 的内存和计算开销，联合优化各层的位宽；BD 则实现了在标准硬件上的高效混合精度卷积。该方法在 ImageNet 上实现了 SOTA 准确率，FLOPs 减少 3.26 倍，优于统一精度基线和先前的混合精度方法。

ABSTRACT

Network quantization has rapidly become one of the most widely used methods to compress and accelerate deep neural networks. Recent efforts propose to quantize weights and activations from different layers with different precision to improve the overall performance. However, it is challenging to find the optimal bitwidth (i.e., precision) for weights and activations of each layer efficiently. Meanwhile, it is yet unclear how to perform convolution for weights and activations of different precision efficiently on generic hardware platforms. To resolve these two issues, in this paper, we first propose an Efficient Bitwidth Search (EBS) algorithm, which reuses the meta weights for different quantization bitwidth and thus the strength for each candidate precision can be optimized directly w.r.t the objective without superfluous copies, reducing both the memory and computational cost significantly. Second, we propose a binary decomposition algorithm that converts weights and activations of different precision into binary matrices to make the mixed precision convolution efficient and practical. Experiment results on CIFAR10 and ImageNet datasets demonstrate our mixed precision QNN outperforms the handcrafted uniform bitwidth counterparts and other mixed precision techniques.

研究动机与目标

• 解决现有基于梯度的混合精度位宽搜索方法计算与内存开销过高的问题。
• 实现在不原生支持异构精度操作的通用硬件平台上的高效混合精度卷积。
• 自动发现最优、层特定的权重与激活位宽，以在最大化准确率的同时最小化 FLOPs。
• 将混合精度量化搜索成本降低至接近统一精度水平，同时不牺牲性能。

提出的方法

• EBS 在所有候选位宽间复用单个元权重张量，与为每种位宽单独维护权重相比，将内存成本从 O(N) 降低至 O(1)。
• 采用基于 softmax 的可微软路由机制，在训练过程中动态选择每层最有效的位宽。
• 不为每对位宽分别执行卷积，而是对所有位宽的量化权重与激活进行加权求和，将计算量从 O(N²) 降低至 O(1)。
• 将位宽选择建模为可微搜索问题，支持通过梯度下降进行端到端优化。
• 二值分解（BD）将混合精度张量分解为一个二值矩阵与一个标量系数，使标准硬件上实现高效混合精度卷积成为可能。
• BD 允许利用原生的二值与低精度指令（如 INT4、INT8）加速推理，无需专用硬件支持。

实验结果

研究问题

• RQ1 我们能否将混合精度神经网络中可微位宽搜索的内存与计算成本降低至接近统一精度水平？
• RQ2 如何在通用硬件平台上高效实现不同位宽权重与激活之间的卷积操作？
• RQ3 一种可微且参数高效的搜索方法能否发现优于手工设计或规则驱动方案的位宽分配？
• RQ4 所提方法在准确率或 FLOPs 效率方面是否优于现有统一精度与混合精度基线？

主要发现

• EBS-Det 在 ImageNet 上实现 71.1% 的 top-1 准确率，仅需 558M FLOPs，优于全精度 ResNet-18（70.4%），且在 FLOPs 更低的情况下比 SOTA 的 5 位 PACT 模型高出 1.8% 准确率。
• EBS-Sto 在 564M FLOPs 下实现 70.0% 的 top-1 准确率，与 5 位和 4 位统一精度基线相当或更优，同时 FLOPs 最多减少 3.26 倍。
• 与 DNAS 相比，EBS 将 GPU 内存使用量降低 90% 以上，训练时间减少 50% 以上，使原本因 OOM 而无法在批量大小 128 下运行的搜索成为可能。
• 该方法发现非均匀的位宽分布——大多数权重为 1 位，而激活通常为 3–4 位，证实激活需要更高精度。
• 通过标签精炼增强，EBS-Det 在仅 369M FLOPs 下实现 70.3% 的 top-1 准确率，相比 DNAS 提高 1.6%，且 FLOPs 减少 4.93 倍。
• 二值分解使标准硬件上实现高效的混合精度推理成为可能，通过利用原生低精度指令，显著提升部署实用性。