[论文解读] Two-Bit Networks for Deep Learning on Resource-Constrained Embedded Devices

Wenjia Meng, Zonghua Gu+2 more|arXiv (Cornell University)|Jan 2, 2017

Advanced Neural Network Applications参考文献 6被引用 29

一句话总结

本文提出两比特网络（TBNs），一种模型压缩技术，将卷积神经网络（CNN）权重限制为四个离散值（−2, −1, 1, 2），实现高效的两比特编码。通过使用基于梯度优化和缩放因子的可微训练算法，TBNs 在降低内存和计算成本的同时，实现了高精度（ImageNet 上 top-1 准确率为 62.6%，top-5 准确率为 84.5%），优于先前的二值化和三值化权重方法。

ABSTRACT

With the rapid proliferation of Internet of Things and intelligent edge devices, there is an increasing need for implementing machine learning algorithms, including deep learning, on resource-constrained mobile embedded devices with limited memory and computation power. Typical large Convolutional Neural Networks (CNNs) need large amounts of memory and computational power, and cannot be deployed on embedded devices efficiently. We present Two-Bit Networks (TBNs) for model compression of CNNs with edge weights constrained to (-2, -1, 1, 2), which can be encoded with two bits. Our approach can reduce the memory usage and improve computational efficiency significantly while achieving good performance in terms of classification accuracy, thus representing a reasonable tradeoff between model size and performance.

研究动机与目标

• 解决在内存和计算能力有限的资源受限嵌入式设备上部署大型高精度 CNN 的挑战。
• 通过更有效地利用两比特权重表示，相比现有二值化或三值化权重方法，提升模型压缩效率。
• 在进行激进的权重量化的同时保持高分类准确率，以实现边缘设备上的实际部署。
• 开发一种可微训练过程，实现对两比特权重和缩放因子的端到端优化。

提出的方法

• 将实数值卷积滤波器量化为四个离散值：−2, −1, 1 和 2，每个值可用两位表示。
• 将每个滤波器 W 近似为 α·W̃，其中 W̃ 是两比特量化滤波器，α > 0 为可学习的缩放因子。
• 通过两步优化最小化 L2 量化误差 ∥W − αW̃∥²₂：首先将权重离散化为四个值，然后为每个滤波器计算最优 α。
• 使用随机梯度下降（SGD）训练算法，前向和反向传播使用量化滤波器（W̃ 和 α），但使用梯度更新实数值权重。
• 应用确定性离散化：每个权重根据其大小映射到 {−2, −1, 1, 2} 中最近的值。
• 推理时仅使用两比特权重和学习到的缩放因子，通过加法、减法和位移操作实现高效计算。

实验结果

研究问题

• RQ1 在 ImageNet 等大规模数据集上，使用四个离散值（−2, −1, 1, 2）的两比特权重表示是否能优于现有的二值化或三值化权重方法？
• RQ2 可学习的缩放因子 α 的使用相比固定量化，如何提升两比特量化网络的准确率？
• RQ3 所提出的基于梯度优化的量化权重训练算法是否能在降低内存和计算成本的同时，保持高模型容量？
• RQ4 两比特网络是否能在真实世界基准测试中，实现比最先进权重压缩技术更优的模型大小与准确率之间的权衡？

主要发现

• 两比特网络在 ImageNet 验证集上实现了 62.6% 的 top-1 准确率和 84.5% 的 top-5 准确率，优于二值权重网络、XNOR-Net 和三值权重网络。
• 该方法显著降低了内存使用：对于 ResNet-18，内存使用量从 FP32 的 104 MB 降低至 2-bit 的 26 MB，减少了 4 倍。
• 与三值网络中使用的三个值（−1, 0, 1）相比，使用四个值（−2, −1, 1, 2）增加了模型容量并提升了性能。
• 所提出的训练算法即使在激进的权重量化下，也能实现稳定收敛并获得高精度模型。
• 通过使用加法、减法和位移操作，提升了计算效率，这些操作在嵌入式系统中硬件友好且快速。
• 该方法具有通用性，可应用于 CNN 以外的其他深度神经网络，包括 RNN。