[论文解读] Extremely Low Bit Neural Network: Squeeze the Last Bit Out with ADMM

Cong Leng, Hao Li+2 more|arXiv (Cornell University)|Jul 24, 2017

Sparse and Compressive Sensing Techniques被引用 79

一句话总结

论文将极低比特神经网络的训练表述为离散受约束的问题，并使用ADMM求解，在ImageNet和Pascal VOC等多种架构上取得了显著结果。

ABSTRACT

Although deep learning models are highly effective for various learning tasks, their high computational costs prohibit the deployment to scenarios where either memory or computational resources are limited. In this paper, we focus on compressing and accelerating deep models with network weights represented by very small numbers of bits, referred to as extremely low bit neural network. We model this problem as a discretely constrained optimization problem. Borrowing the idea from Alternating Direction Method of Multipliers (ADMM), we decouple the continuous parameters from the discrete constraints of network, and cast the original hard problem into several subproblems. We propose to solve these subproblems using extragradient and iterative quantization algorithms that lead to considerably faster convergency compared to conventional optimization methods. Extensive experiments on image recognition and object detection verify that the proposed algorithm is more effective than state-of-the-art approaches when coming to extremely low bit neural network.

研究动机与目标

• 动机在于为了内存和计算效率，将深度网络压缩到极低比特宽度的必要性。
• 将此类网络的训练建模为一个离散受约束的优化问题（混合整数规划）。
• 使用ADMM将连续权重与离散约束解耦，以使子问题可解。
• 提出近端（外步）和迭代量化步骤以高效求解子问题。
• 在多种架构上展示在图像分类（ImageNet）和目标检测（Pascal VOC）上的有效性。

提出的方法

• 将训练表述为 min_W f(W) subject to W ∈ C，其中C将权重编码为零和2的幂，并带有逐层缩放因子alpha_i。
• 将W与离散辅助变量G通过ADMM解耦，W = G，同时引入增广拉格朗日以及交替更新。
• 使用外迭代梯度法解决近端步骤（连续）以加速收敛。
• 通过迭代求解(Q_i, alpha_i)以最小化||V_i - alpha_i Q_i||^2，其中Q_i ∈ {0, ±1, ±2, ..., ±2^N}且alpha_i > 0。
• 进行对偶更新，通过lambda（缩放后的对偶变量）累积约束违反。
• 应用迭代量化使每层离散投影收敛到局部最优。

实验结果

研究问题

• RQ1 ADMM是否能有效地将离散权重约束与连续优化解耦，以学习极低比特的神经网络？
• RQ2 提出的基于ADMM的方法在标准CNN架构下与最先进的低比特方法（如Binary Weight Network、Ternary Weight Network）相比如何？
• RQ3 在各种架构下，极低比特量化对大规模数据集（ImageNet）和目标检测基准（Pascal VOC）的性能影响如何？
• RQ4 每层缩放因子alpha_i如何影响优化和最终精度？

主要发现

• 方法在AlexNet和VGG-16上实现与全精度相比仅3比特的无损压缩。
• 在ResNet-18上，二值量化在Top-1提升约4个百分点，Top-5提升3.2个百分点；三值量化分别领先TWN约5.2和3.3个百分点。
• 对于ResNet-50，二值和三值量化显著优于BWN和TWN，在Top-1/Top-5精度方面有显著提升。
• 在GoogleNet上，二值和三值量化的性能下降比ResNet更大，但仍优于BWN和TWN；包括INT8调整的1x1卷积核可改善结果。
• 与TTN和INQ相比，所提三值方法在AlexNet和ResNet-18上达到具竞争力甚至更优的Top-1/Top-5精度（例如：AlexNet; TTN: 0.575/0.797； ours: 0.582/0.806；ResNet-18; TTN: 0.666/0.872； INQ: 0.660/0.871； Ours: 0.670/0.875）。
• 在目标检测（Pascal VOC with SSD）中，三值和低比特量化保持了与全精度竞争力的mAP，相对于VGG16+SSD几乎无损，在Darknet+SSD上有适度损失。