[论文解读] BitNet: Bit-Regularized Deep Neural Networks

Aswin Raghavan, Mohamed Amer+2 more|arXiv (Cornell University)|Aug 16, 2017

Domain Adaptation and Few-Shot Learning参考文献 43被引用 5

一句话总结

BitNet 提出了一种新颖的端到端优化框架，通过为每层网络参数施加可学习位宽的整数约束，实现对深度神经网络的动态正则化。通过构建分类损失的可微分松弛，并将比特复杂度作为正则项，BitNet 在收敛速度和测试精度方面优于全精度模型，同时通过自适应量化实现显著的内存压缩。

ABSTRACT

We present a novel optimization strategy for training neural networks which we call "BitNet". The parameters of neural networks are usually unconstrained and have a dynamic range dispersed over all real values. Our key idea is to limit the expressive power of the network by dynamically controlling the range and set of values that the parameters can take. We formulate this idea using a novel end-to-end approach that circumvents the discrete parameter space by optimizing a relaxed continuous and differentiable upper bound of the typical classification loss function. The approach can be interpreted as a regularization inspired by the Minimum Description Length (MDL) principle. For each layer of the network, our approach optimizes real-valued translation and scaling factors and arbitrary precision integer-valued parameters (weights). We empirically compare BitNet to an equivalent unregularized model on the MNIST and CIFAR-10 datasets. We show that BitNet converges faster to a superior quality solution. Additionally, the resulting model has significant savings in memory due to the use of integer-valued parameters.

研究动机与目标

• 为解决固定精度量化在深度神经网络中的低效问题，实现动态、层特定的位宽优化。
• 开发离散参数空间的可微分、连续松弛，以支持整数权重的端到端训练。
• 通过基于比特的复杂度度量，直接正则化唯一参数值的数量，提升训练效率与模型紧凑性。
• 证明比特正则化可带来比标准全精度训练更快的收敛速度和更好的泛化能力。
• 提供一种灵活且硬件感知的训练策略，通过动态位宽分配在模型精度与内存占用之间实现平衡。

提出的方法

• 通过将离散整数参数空间松弛为连续可微函数，构建分类损失的可微分上界。
• 为每层引入可学习的实值缩放与平移因子，将连续权重映射为离散整数值。
• 采用基于最小描述长度（MDL）原理的正则化项，惩罚编码参数所需的比特数。
• 使用联合损失函数，通过随机梯度下降联合优化网络权重与每层位宽。
• 采用保持范围的线性变换，将浮点权重映射到动态调整范围内的整数值。
• 通过两个正则化系数 λ₁ 和 λ₂ 控制超参数，实现模型精度与比特复杂度之间的权衡。

实验结果

研究问题

• RQ1 与固定精度训练相比，动态、层特定的位宽优化是否能提升训练收敛速度和最终模型精度？
• RQ2 基于 MDL 原理的比特正则化如何影响深度神经网络的泛化能力与压缩效率？
• RQ3 在不造成显著性能下降的前提下，每层的比特数可被压缩到何种程度？这种压缩效果在不同架构与数据集间如何变化？
• RQ4 比特正则化与自适应学习率调度（如 ADAM 或 AdaGrad）之间是否存在关联？
• RQ5 与训练后量化或启发式聚类方法相比，端到端优化位宽与权重能否实现更优的压缩-精度权衡？

主要发现

• 在 MNIST 和 CIFAR-10 上，BitNet 的收敛速度更快且测试误差更低，1 小时训练结果优于 20 小时的全精度基线模型。
• 在 MNIST 上，BitNet 在最优超参数设置（λ₁=10⁻³，λ₂=10⁻⁶）下实现 11.0% 的测试误差，优于使用 32 位的 LeNet32（19.95% 误差）。
• 当每层限制为 2 位（λ₁=0，λ₂=1）时，BitNet 在 MNIST 上实现 13.09% 的测试误差，同时实现 16 倍的内存压缩，展现出强大的内存效率。
• 该方法对网络深度具有鲁棒性，在增加卷积层和全连接层的深层网络中仍保持性能优势。
• 压缩比在不同超参数设置下变化显著，而测试误差保持相对稳定，表明在精度-压缩权衡上具有高度灵活性。
• 最佳配置通过网格搜索获得，在 MNIST 上实现 11.0% 的测试误差，在 CIFAR-10 上实现 15.5% 的测试误差，同时实现显著的比特节省。