[论文解读] Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification

Huanrui Yang, Minxue Tang+6 more|arXiv (Cornell University)|Apr 20, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用 5

一句话总结

本文提出SVD训练，一种新颖的方法，在训练过程中显式学习低秩深度神经网络（DNN），而无需在每一步都执行奇异值分解（SVD）。通过将每一层分解为其全秩SVD形式，并应用奇异向量正交性正则化与奇异值稀疏化，该方法在仅造成最小精度损失的前提下实现了显著的FLOPs减少，在CIFAR-10和ImageNet基准测试中优于当前最先进的分解与剪枝方法。

ABSTRACT

Modern deep neural networks (DNNs) often require high memory consumption and large computational loads. In order to deploy DNN algorithms efficiently on edge or mobile devices, a series of DNN compression algorithms have been explored, including factorization methods. Factorization methods approximate the weight matrix of a DNN layer with the multiplication of two or multiple low-rank matrices. However, it is hard to measure the ranks of DNN layers during the training process. Previous works mainly induce low-rank through implicit approximations or via costly singular value decomposition (SVD) process on every training step. The former approach usually induces a high accuracy loss while the latter has a low efficiency. In this work, we propose SVD training, the first method to explicitly achieve low-rank DNNs during training without applying SVD on every step. SVD training first decomposes each layer into the form of its full-rank SVD, then performs training directly on the decomposed weights. We add orthogonality regularization to the singular vectors, which ensure the valid form of SVD and avoid gradient vanishing/exploding. Low-rank is encouraged by applying sparsity-inducing regularizers on the singular values of each layer. Singular value pruning is applied at the end to explicitly reach a low-rank model. We empirically show that SVD training can significantly reduce the rank of DNN layers and achieve higher reduction on computation load under the same accuracy, comparing to not only previous factorization methods but also state-of-the-art filter pruning methods.

研究动机与目标

• 为解决在边缘和移动设备上部署深度神经网络（DNN）时面临的高内存与计算成本挑战。
• 克服现有低秩DNN压缩方法的局限性，包括隐式秩近似以及在每一步训练中进行昂贵的SVD计算。
• 开发一种训练框架，可在优化过程中显式控制层秩，而无需迭代SVD。
• 通过结构化正则化与剪枝实现高模型压缩，同时仅造成最小精度退化。

提出的方法

• 将每个DNN层的权重矩阵分解为其全秩SVD形式：W = UΣV^T，并直接在分解后的组件U、Σ和V上进行训练。
• 对左奇异向量和右奇异向量（U和V）施加正交性正则化，以保持酉结构并防止梯度消失/爆炸。
• 在奇异值（Σ）上引入稀疏性诱导正则化器（如Hoyer范数），以在训练过程中促进低秩结构。
• 在训练后执行奇异值剪枝，以显式实现低秩模型并减少FLOPs。
• 采用通道间与空间维度分解策略，评估不同网络深度下的压缩效率。
• 进行消融研究，以验证各组件的贡献：正交性正则化、稀疏性正则化与剪枝。

实验结果

研究问题

• RQ1 是否可以在不每步都执行SVD的情况下，显式训练低秩DNN？
• RQ2 奇异向量正交性正则化对低秩DNN训练稳定性与模型性能有何影响？
• RQ3 不同稀疏性诱导正则化器（如Hoyer与L1）对压缩率与精度之间权衡的影响如何？
• RQ4 与从零开始训练或现有分解与剪枝方法相比，所提出的SVD训练框架在FLOPs减少与精度方面表现如何？
• RQ5 在浅层网络中，空间维度分解是否优于通道维度分解？在深层模型中，两者表现如何比较？

主要发现

• SVD训练在CIFAR-10上使ResNet-20的推理速度提升3.26倍，ResNet-110的推理速度提升高达6.42倍，且精度损失极小。
• 在CIFAR-10上，使用ResNet-20的SVD训练方法达到91.39%的top-1精度，优于从零开始训练（89.43%）和先前最先进的方法。
• 在ImageNet上的ResNet-18与ResNet-50上，所提方法保持的精度高于现有分解与结构化剪枝方法的Pareto前沿。
• Hoyer正则化器在相同精度损失下实现的压缩率高于L1正则化，尤其在诱导奇异值稀疏性方面更为有效。
• 对奇异向量施加正交性正则化至关重要——消融实验表明，若省略该正则化，性能显著下降，证实其在稳定训练中的关键作用。
• 在浅层网络（如ResNet-20、ResNet-32）中，空间维度分解的压缩效率优于通道维度分解；而在深层模型中，两者性能相近。