[论文解读] Convolutional neural networks with low-rank regularization

Cheng Tai, Tong Xiao+3 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Neural Network Applications被引用 279

一句话总结

本文提出了一种用于剪枝卷积神经网络（CNNs）的新颖低秩张量分解算法，实现了对卷积核冗余的精确全局优化。该方法从零开始训练低秩约束的CNN，实现高达50%的推理速度提升（例如，VGG-16），同时保持或提升准确率——例如，在CIFAR-10上不使用数据增强时达到91.31%的top-1准确率，超越了当前最先进水平。

ABSTRACT

Abstract: Large CNNs have delivered impressive performance in various computer vision applications. But the storage and computation requirements make it problematic for deploying these models on mobile devices. Recently, tensor decompositions have been used for speeding up CNNs. In this paper, we further develop the tensor decomposition technique. We propose a new algorithm for computing the low-rank tensor decomposition for removing the redundancy in the convolution kernels. The algorithm finds the exact global optimizer of the decomposition and is more effective than iterative methods. Based on the decomposition, we further propose a new method for training low-rank constrained CNNs from scratch. Interestingly, while achieving a significant speedup, sometimes the low-rank constrained CNNs delivers significantly better performance than their non-constrained counterparts. On the CIFAR-10 dataset, the proposed low-rank NIN model achieves $91.31\%$ accuracy (without data augmentation), which also improves upon state-of-the-art result. We evaluated the proposed method on CIFAR-10 and ILSVRC12 datasets for a variety of modern CNNs, including AlexNet, NIN, VGG and GoogleNet with success. For example, the forward time of VGG-16 is reduced by half while the performance is still comparable. Empirical success suggests that low-rank tensor decompositions can be a very useful tool for speeding up large CNNs.

研究动机与目标

• 降低大型CNN在移动端部署时的计算与存储成本。
• 解决迭代方法在计算低秩张量分解时的低效问题。
• 开发一种从随机初始化开始训练低秩CNN的方法，实现改进或相当的性能。
• 探究低秩约束是否能超越单纯提速，提升泛化能力。

提出的方法

• 提出一种新算法，用于计算低秩张量分解，可找到精确的全局最优解，避免迭代方法导致的次优解。
• 将张量分解应用于卷积核，以消除冗余并减少参数量。
• 提出一种从随机初始化开始的低秩约束CNN的训练流程。
• 使用Tucker分解或类似的低秩分解方法，将3D/4D卷积核表示为更小的低秩组件。
• 在训练过程中端到端优化低秩模型，同时保持结构约束。
• 采用精确优化以确保分解为全局最优，提升稳定性和性能。

实验结果

研究问题

• RQ1 精确低秩张量分解是否能在核压缩方面优于迭代方法？
• RQ2 从零开始训练低秩CNN是否能获得优于或相当的准确率，相比全秩模型？
• RQ3 低秩约束是否能提升泛化能力，使准确率高于非约束模型？
• RQ4 在不牺牲性能的前提下，推理速度最多可提升多少？

主要发现

• 所提出的低秩NIN模型在CIFAR-10上不使用数据增强时达到91.31%的top-1准确率，超越了当前最先进结果。
• 使用低秩分解后，VGG-16的前向推理时间减少了50%，同时保持了相当的性能。
• 该方法成功加速了多种架构，包括AlexNet、NIN、VGG和GoogleNet，在CIFAR-10和ILSVRC12上均表现良好。
• 出人意料的是，低秩约束模型有时甚至优于其全秩对应模型，表明可能存在正则化优势。
• 与迭代替代方法相比，该低秩分解的精确优化算法更有效，收敛性与性能更优。