[论文解读] Loss-aware Binarization of Deep Networks

Lu Hou, Quanming Yao+1 more|arXiv (Cornell University)|Nov 5, 2016

Face and Expression Recognition被引用 112

一句话总结

论文提出 Loss-Aware Binarization (LAB)，一种基于近端牛顿法、对角 Hessian 近似的二值化神经网络权重的方法，在直接最小化损失的同时进行二值化，相较于先前的二值化方法，特别是在深度和循环网络上有改进。

ABSTRACT

Deep neural network models, though very powerful and highly successful, are computationally expensive in terms of space and time. Recently, there have been a number of attempts on binarizing the network weights and activations. This greatly reduces the network size, and replaces the underlying multiplications to additions or even XNOR bit operations. However, existing binarization schemes are based on simple matrix approximation and ignore the effect of binarization on the loss. In this paper, we propose a proximal Newton algorithm with diagonal Hessian approximation that directly minimizes the loss w.r.t. the binarized weights. The underlying proximal step has an efficient closed-form solution, and the second-order information can be efficiently obtained from the second moments already computed by the Adam optimizer. Experiments on both feedforward and recurrent networks show that the proposed loss-aware binarization algorithm outperforms existing binarization schemes, and is also more robust for wide and deep networks.

研究动机与目标

• 通过对权重和可能的激活进行二值化来降低神经网络的规模和计算需求的动机。
• 直接对二值化权重的损失进行最小化，而不仅仅是近似全精度权重。
• 在近端牛顿框架中利用对角 Hessian 的二阶信息。
• 在多种数据集上证明 LAB 在前馈和循环网络上的鲁棒性。

提出的方法

• 将二值化表述为 min_ŵ ℓ(ŵ) subject to ŵ_l = α_l b_l with α_l > 0 and b_l ∈ {±1}^{n_l}.
• 应用带对角 Hessian D 的近端牛顿更新，使用损失的二阶展开和一个近端步骤。
• 推导近端步骤的闭式解: α_l^t = ||D_l^{t-1} ⊙ w_l^t||_1 / ||D_l^{t-1}||_1 and b_l^t = sign(w_l^t) (Proposition 3.1).
• 使用 Adam 基于估计来形成对角 Hessian 代理 D，利用二阶矩来对更新进行预条件化。
• 在更新阶段保留全精度权重，同时在前向/反向传播阶段进行二值化，以实现高效训练。
• 将 LAB 扩展到循环网络，通过对输入-到-隐藏以及隐藏-到-隐藏权重进行二值化，并通过曲率感知缩放来解决梯度爆炸问题。

实验结果

研究问题

• RQ1 如何在直接最小化损失而非近似全精度权重的情况下进行二值化？
• RQ2 是否对角 Hessian 基的近端牛顿方法比现有方案（BinaryConnect、Binary-Weight-Network）在深度或循环架构上提供更有效的二值化？
• RQ3 将二阶信息引入时，在前馈和循环网络中二值化权重是否能提高稳定性与性能？
• RQ4 LAB 对标准基准（MNIST, CIFAR-10, SVHN）以及对 LSTM 的语言建模有何影响？

主要发现

• LAB 在前馈网络上优于现有的二值化方法，在 MNIST、CIFAR-10 和 SVHN。
• LAB 在测试误差方面达到 1.180% (MNIST), 10.500% (CIFAR-10), 2.354% (SVHN)，优于 BinaryConnect 和 BWN，在某些情形接近或超越全精度。
• LAB2（权重+激活二值化）在若干设置中优于 BNN 与 XNOR-Net 变体。
• LAB 对宽网络和深网络表现鲁棒，并缓解在 BinaryConnect 遇到的循环网络中的梯度爆炸问题。