[论文解读] Trained Rank Pruning for Efficient Deep Neural Networks

Yuhui Xu, Yuxi Li+8 more|arXiv (Cornell University)|Oct 9, 2019

Advanced Neural Network Applications参考文献 41被引用 14

一句话总结

本文提出训练秩剪枝（TRP），一种将低秩近似与核范数正则化整合到深度神经网络训练过程中的方法，使模型在性能损失极小的情况下自然地采用低秩结构。通过在低秩近似与随机子梯度训练之间交替进行，TRP 消除了压缩后微调的需要，并在 CIFAR-10 和 ImageNet 上取得了最先进结果。

ABSTRACT

To accelerate DNNs inference, low-rank approximation has been widely adopted because of its solid theoretical rationale and efficient implementations. Several previous works attempted to directly approximate a pre-trained model by low-rank decomposition; however, small approximation errors in parameters can ripple over a large prediction loss. Apparently, it is not optimal to separate low-rank approximation from training. Unlike previous works, this paper integrates low rank approximation and regularization into the training process. We propose Trained Rank Pruning (TRP), which alternates between low rank approximation and training. TRP maintains the capacity of the original network while imposing low-rank constraints during training. A nuclear regularization optimized by stochastic sub-gradient descent is utilized to further promote low rank in TRP. Networks trained with TRP has a low-rank structure in nature, and is approximated with negligible performance loss, thus eliminating fine-tuning after low rank approximation. The proposed method is comprehensively evaluated on CIFAR-10 and ImageNet, outperforming previous compression counterparts using low rank approximation. Our code is available at: https://github.com/yuhuixu1993/Trained-Rank-Pruning.

研究动机与目标

• 解决预训练模型在推理后低秩分解过程中因近似误差导致的性能下降问题。
• 通过将低秩约束直接嵌入训练过程，消除低秩近似后对微调的需求。
• 在保持原始网络容量的同时，通过联合优化权重矩阵与核范数正则化，促进低秩结构的形成。
• 通过结构化参数压缩实现高效推理，且不牺牲模型精度。

提出的方法

• TRP 在训练过程中交替执行权重矩阵的低秩近似与随机梯度下降更新。
• 通过随机子梯度下降优化核正则化项，以鼓励获得低秩解。
• 该方法将低秩约束直接集成到训练循环中，确保网络从一开始就学习到低秩结构。
• 在训练过程中对权重矩阵进行低秩分解，其秩由正则化强度控制。
• 通过从一开始就维持模型容量并最小化近似误差，避免了压缩后的微调。

实验结果

研究问题

• RQ1 低秩近似能否有效整合到训练过程中，从而相比推理后分解显著减少性能损失？
• RQ2 在训练过程中联合优化低秩结构与模型精度，是否能消除压缩后微调的需求？
• RQ3 在标准基准上，TRP 与现有低秩压缩方法相比，在精度与参数效率方面表现如何？
• RQ4 在训练过程中，核范数正则化在多大程度上能促进深度网络中的低秩结构形成？

主要发现

• TRP 在 CIFAR-10 和 ImageNet 上实现了最先进的压缩性能，与全精度模型相比精度损失可忽略不计。
• 该方法消除了低秩近似后微调的需求，降低了推理部署的复杂性。
• 通过将低秩约束整合到训练中，TRP 维持了更高的模型容量，并减少了近似误差的传播。
• 通过随机子梯度下降实现的核正则化，能有效促进训练权重中的低秩结构形成。