[论文解读] Scalable Deep Neural Networks via Low-Rank Matrix Factorization

Atsushi Yaguchi, Taiji Suzuki+3 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Neural Network Applications参考文献 21被引用 6

一句话总结

本文提出Decomposable-Net，一种通过低秩矩阵分解实现可扩展深度神经网络的方法，可在不重新训练的情况下灵活调整模型大小。通过联合优化全秩和低秩网络，并基于近似误差分析提出秩选择准则，该方法在多种压缩水平下均达到最先进性能，包括在ResNet-50上使用0.27× MACs时在ImageNet上实现73.2%的top-1准确率。

ABSTRACT

Compressing deep neural networks (DNNs) is important for real-world applications operating on resource-constrained devices. However, it is not straightforward to change the model size (i.e., computational complexity) once training and compression are completed, calling for retraining to construct models suitable for different devices. In this paper, we propose a novel method, Decomposable-Net (the network decomposable in any size), which allows flexible changes to model size without retraining. We decompose weight matrices in the DNNs via singular value decomposition and adjust ranks according to the target model size. Unlike the existing methods, (1) we propose a learning method that explicitly minimizes losses for both of full-rank and low-rank networks, which is designed not only to maintain the performance of a full-rank network but also to improve multiple low-rank networks in a single model. (2) We also provide a mathematical analysis for the scalability of the approximation error with respect to the rank in each layer. Moreover, on the basis of the analysis, (3) we introduce a simple criterion for rank selection that effectively suppresses approximation error. In experiments on image-classification tasks on CIFAR-10/100 and ImageNet datasets, Decomposable-Net yields favorable performance in a broader range of compressed models. In particular, Decomposable-Net achieves the top-1 accuracy of $73.2\%$ with $0.27 imes$MACs on the ImageNet classification task with ResNet-50, compared to low-rank tensor (Tucker) decomposition ($67.4\% / 0.30 imes$) and universally slimmable networks ($70.6\% / 0.26 imes$).

研究动机与目标

• 解决在计算资源受限设备上部署压缩深度神经网络时，针对不同计算预算的挑战。
• 克服现有压缩方法在每个目标模型尺寸下均需重新训练的局限性。
• 通过秩调整实现单个训练模型动态支持多种推理尺寸。
• 通过联合优化全秩和低秩网络目标，在广泛压缩水平下保持高性能。
• 提供一种有理论依据、数学基础坚实的准则，用于选择每层的最优秩以最小化近似误差。

提出的方法

• 使用奇异值分解（SVD）对DNN中的权重矩阵进行分解，以实现低秩近似。
• 通过联合损失函数，训练单个模型以同时优化全秩和多个低秩变体。
• 引入一种新颖的学习目标，最小化全秩和低秩网络的损失，确保性能保持与提升。
• 推导每层中近似误差随秩变化的理论分析，实现有根据的秩选择。
• 提出一种简单、基于数据的秩选择准则，通过平衡表达能力与压缩率来抑制近似误差。
• 在标准图像分类基准上端到端应用该方法，包括在CIFAR-10/100和ImageNet上的ResNet-50。

实验结果

研究问题

• RQ1 能否通过低秩分解训练单个深度神经网络，以在不重新训练的情况下支持多种模型尺寸？
• RQ2 全秩和低秩网络的联合优化如何影响不同压缩水平下的性能？
• RQ3 分解后的DNN中，每层的近似误差与秩之间存在何种理论关系？
• RQ4 能否推导出一种有理论依据的秩选择准则，以在保持高准确率的同时最小化近似误差？
• RQ5 与Tucker分解和通用可裁剪网络等现有压缩技术相比，该方法在准确率和效率方面表现如何？

主要发现

• Decomposable-Net在使用ResNet-50且仅消耗0.27× MACs的情况下，于ImageNet上实现73.2%的top-1准确率，优于低秩Tucker分解（0.30× MACs时为67.4%）。
• 其准确率（73.2%）超过通用可裁剪网络（70.6%），且MACs消耗略少（0.27× vs. 0.26×）。
• 该方法在广泛压缩水平下保持高性能，展现出强大的可扩展性。
• 理论分析证实，近似误差随秩增加而可预测地减小，验证了秩选择准则的有效性。
• 联合训练目标成功保持了全秩性能，同时提升了低秩变体性能，消除了重新训练的需要。
• 所提出的秩选择准则能有效抑制近似误差，实现无需超参数调优的高精度低秩推理。