[论文解读] Matrix and tensor decompositions for training binary neural networks

Adrian Bulat, Jean Kossaifi+2 more|arXiv (Cornell University)|Apr 16, 2019

Advanced Neural Network Applications参考文献 37被引用 5

一句话总结

本文提出了一种新颖的二值神经网络训练方法，通过矩阵或张量分解在共享的实值潜在空间中联合参数化卷积核，在通过符号函数进行二值化之前实现。通过分解强制滤波器之间的耦合，并利用反向传播学习缩放因子，该方法实现了最先进性能——在MPII人体姿态估计任务上准确率提升超过4%，在ImageNet分类任务上最高提升5%，同时保持了二值网络的完整推理加速和模型压缩优势。

ABSTRACT

This paper is on improving the training of binary neural networks in which both activations and weights are binary. While prior methods for neural network binarization binarize each filter independently, we propose to instead parametrize the weight tensor of each layer using matrix or tensor decomposition. The binarization process is then performed using this latent parametrization, via a quantization function (e.g. sign function) applied to the reconstructed weights. A key feature of our method is that while the reconstruction is binarized, the computation in the latent factorized space is done in the real domain. This has several advantages: (i) the latent factorization enforces a coupling of the filters before binarization, which significantly improves the accuracy of the trained models. (ii) while at training time, the binary weights of each convolutional layer are parametrized using real-valued matrix or tensor decomposition, during inference we simply use the reconstructed (binary) weights. As a result, our method does not sacrifice any advantage of binary networks in terms of model compression and speeding-up inference. As a further contribution, instead of computing the binary weight scaling factors analytically, as in prior work, we propose to learn them discriminatively via back-propagation. Finally, we show that our approach significantly outperforms existing methods when tested on the challenging tasks of (a) human pose estimation (more than 4% improvements) and (b) ImageNet classification (up to 5% performance gains).

研究动机与目标

• 为解决在资源受限部署场景下实值网络与二值网络之间显著的准确率差距。
• 克服先前方法中独立滤波器二值化带来的局限性，该局限性限制了模型的表征能力。
• 在不牺牲二值网络计算与内存优势的前提下提升模型性能。
• 通过反向传播有区别地学习缩放因子，重新评估二值网络中缩放因子的使用方式，而非像以往那样通过解析方法计算。
• 展示在层间或整个网络范围内进行联合分解对提升二值化模型准确率的有效性。

提出的方法

• 在训练期间，使用低秩矩阵或张量分解（如SVD或Tucker分解）在实数域中对每个卷积层的权重张量进行重参数化。
• 通过符号函数对重构后的权重执行二值化，但分解因子在整个训练过程中保持实值且可训练。
• 通过共享潜在因子强制滤波器之间的相互依赖性，提升二值化前的表征能力。
• 通过反向传播学习二值权重的缩放因子，而非像以往工作那样通过解析方法计算。
• 在推理阶段，仅使用二值化后的重构权重——不存储或计算分解因子，从而保持速度和压缩优势。
• 该方法支持逐层和全局网络范围的分解，支持对分解范围的消融研究。

实验结果

研究问题

• RQ1 通过矩阵/张量分解对卷积核进行联合参数化，能否提升二值神经网络的准确率？
• RQ2 通过反向传播学习缩放因子是否能带来优于解析计算的性能？
• RQ3 通过共享潜在因子强制滤波器耦合，在多大程度上能缩小实值网络与二值网络之间的准确率差距？
• RQ4 分解方式（如SVD与Tucker）和分解范围（逐层与全局）的选择如何影响模型性能？
• RQ5 该方法能否在MPII和ImageNet等具有挑战性的基准上实现最先进性能，同时保持二值网络的优势？

主要发现

• 在ResNet-18架构下，该方法在ImageNet上的top-1准确率达到55.6%，超过XNOR-Net实现的先前最先进水平51.2%。
• 在MPII人体姿态估计基准上，该方法达到82.5%的PCKh，比之前最先进方法（HBC）的78.1%提升了4.4%。
• 该方法保持了完整的模型压缩和推理加速，理论加速比最高达58倍，压缩比最高达32倍。
• 消融研究显示，通过反向传播学习缩放因子的性能优于解析计算方法。
• 在多个层上进行全局张量分解的性能优于逐层分解，表明网络范围内的滤波器耦合具有优势。
• MPII上的定性结果表明，该模型在多样化姿态和活动下泛化能力良好，表现出强鲁棒性。