[论文解读] Coordinating Filters for Faster Deep Neural Networks

Wei Wen, Cong Xu+4 more|arXiv (Cornell University)|Mar 28, 2017

Advanced Neural Network Applications参考文献 25被引用 12

一句话总结

本文提出力正则化（Force Regularization），一种训练阶段的技术，通过在深度神经网络中协调卷积滤波器的关联性，增强其相关性，从而实现更高效的低秩近似（LRA），提升推理速度。通过在反向传播过程中施加吸引力，该方法降低了LRA所需的秩，使AlexNet在CPU上实现最高4.05倍的加速，且精度损失极小，同时与稀疏化方法结合可实现进一步压缩。

ABSTRACT

Very large-scale Deep Neural Networks (DNNs) have achieved remarkable successes in a large variety of computer vision tasks. However, the high computation intensity of DNNs makes it challenging to deploy these models on resource-limited systems. Some studies used low-rank approaches that approximate the filters by low-rank basis to accelerate the testing. Those works directly decomposed the pre-trained DNNs by Low-Rank Approximations (LRA). How to train DNNs toward lower-rank space for more efficient DNNs, however, remains as an open area. To solve the issue, in this work, we propose Force Regularization, which uses attractive forces to enforce filters so as to coordinate more weight information into lower-rank space. We mathematically and empirically verify that after applying our technique, standard LRA methods can reconstruct filters using much lower basis and thus result in faster DNNs. The effectiveness of our approach is comprehensively evaluated in ResNets, AlexNet, and GoogLeNet. In AlexNet, for example, Force Regularization gains 2x speedup on modern GPU without accuracy loss and 4.05x speedup on CPU by paying small accuracy degradation. Moreover, Force Regularization better initializes the low-rank DNNs such that the fine-tuning can converge faster toward higher accuracy. The obtained lower-rank DNNs can be further sparsified, proving that Force Regularization can be integrated with state-of-the-art sparsity-based acceleration methods. Source code is available in https://github.com/wenwei202/caffe

研究动机与目标

• 为解决大规模DNN在计算资源受限设备上部署时因高计算需求带来的挑战。
• 通过从训练初期就引导DNN向更低秩的权重空间学习，提升低秩近似（LRA）方法的效率。
• 通过LRA减少滤波器重构所需的秩，实现更快的推理速度。
• 构建更易于后续稀疏化和硬件加速的DNN模型。
• 将方法推广以提升滤波器的判别能力，从而提高准确率。

提出的方法

• 力正则化在反向传播过程中引入额外的梯度项，作为权重空间中滤波器之间的吸引力，增强其相关性。
• 该方法基于滤波器之间的余弦相似度构建正则化损失，促使滤波器向量表示之间的夹角减小，实现更紧密对齐。
• 正则化通过超参数λ控制吸引力强度，并具有可微性，支持端到端训练。
• 在应用力正则化训练后，网络滤波器更易于通过交叉滤波器PCA等技术进行低秩分解，相同重构误差下所需基滤波器更少。
• 该方法与现有的LRA和基于稀疏性的加速技术兼容，支持联合压缩与加速。
• 该方法可推广为判别正则化，通过将力的方向反转（使用负λ）增强滤波器正交性，从而提升分类准确率。

实验结果

研究问题

• RQ1 在DNN训练中引入附加正则化力是否能增强滤波器间的相关性，从而实现更高效的低秩近似？
• RQ2 力正则化是否能降低LRA实现准确滤波器重构所需的秩，从而提升推理速度？
• RQ3 经力正则化训练的DNN在LRA分解后是否能更高效地微调，实现更快收敛至更高准确率？
• RQ4 经力正则化生成的低秩模型是否可通过基于稀疏性的方法（如SSL或连接剪枝）进一步压缩？
• RQ5 同一正则化方法是否可调整以提升滤波器判别能力，从而提升分类准确率？

主要发现

• 在AlexNet的第一个卷积层中，力正则化将LRA所需的秩从11降低至5，降幅达55%，同时保持≤20%的重构误差。
• 在AlexNet中，该方法在现代GPU上实现2倍加速，在CPU上实现4.05倍加速，精度仅下降0.8%。
• 该方法可加快LRA分解后模型的微调速度，因力正则化提供的初始化能更快收敛至更高准确率。
• 由力正则化生成的轻量化DNN可进一步通过结构化（SSL）和非结构化稀疏化方法压缩，实现比基线模型更高的压缩率与加速比。
• 与深度压缩结合时，该方法实现比基线快2.69倍的推理速度，压缩率相近但卷积层性能更优。
• 作为该方法的变体，判别正则化在AlexNet上将Top-1准确率提升0.92%，在ResNet-20上提升0.85%，表明特征学习能力得到增强。