[论文解读] Exploring Linear Relationship in Feature Map Subspace for ConvNets Compression

Dong Wang, Lei Zhou+3 more|arXiv (Cornell University)|Mar 15, 2018

Anomaly Detection Techniques and Applications参考文献 5被引用 43

一句话总结

本文提出基于子空间聚类的过滤剪枝方法，通过对特征图进行聚类并剪枝相关过滤器，在 VGG-16 和 ResNet-50 上微调后，在保持竞争力的准确度的同时实现更好的压缩，并扩展到目标检测和姿态估计任务。

ABSTRACT

While the research on convolutional neural networks (CNNs) is progressing quickly, the real-world deployment of these models is often limited by computing resources and memory constraints. In this paper, we address this issue by proposing a novel filter pruning method to compress and accelerate CNNs. Our work is based on the linear relationship identified in different feature map subspaces via visualization of feature maps. Such linear relationship implies that the information in CNNs is redundant. Our method eliminates the redundancy in convolutional filters by applying subspace clustering to feature maps. In this way, most of the representative information in the network can be retained in each cluster. Therefore, our method provides an effective solution to filter pruning for which most existing methods directly remove filters based on simple heuristics. The proposed method is independent of the network structure, thus it can be adopted by any off-the-shelf deep learning libraries. Experiments on different networks and tasks show that our method outperforms existing techniques before fine-tuning, and achieves the state-of-the-art results after fine-tuning.

研究动机与目标

• 动机：在实际部署中解决有限的计算资源和内存资源问题，以推动 CNN 的压缩。
• 提出一种利用特征图子空间中的线性关系来保留代表性信息的滤波剪枝框架。
• 使剪枝方法与网络结构解耦，以实现广泛适用性。
• 在多种网络（VGG-16、ResNet-50）和任务（图像分类、目标检测、姿态估计）上展示有效性。
• 证明基于子空间聚类的剪枝在微调前后均优于现有剪枝策略。

提出的方法

• 对一层的输入特征图进行子空间聚类，形成 ci' 个簇（ci' ≤ ci）。
• 对每个簇计算平均过滤器，以在该层及下一层的通道轴上形成剪枝后的过滤器。
• 通过求解线性最小二乘问题来重构剪枝后的层输出，以最小化重构误差（Frobenius 范数）。
• 以前馈方式逐层剪枝，剪枝所有目标层后进行微调。
• 针对结构设计两种剪枝策略：单路径网络（如 VGG）和多路径网络（如 ResNet）的剪枝，并对残差块设定约束。
• 理论框架使用自表达模型进行子空间聚类：X = XC，diag(C)=0，最小化 ||C||1 以导出用于谱聚类的亲和矩阵；后续步骤形成簇索引以指导剪枝（方程式 (1)-(4)）。

实验结果

研究问题

• RQ1 是否可以利用特征图子空间中的线性关系来识别用于剪枝的代表性过滤器？
• RQ2 在微调前后，基于子空间聚类的剪枝是否比传统基于重要性的剪枝方法更能保持准确度？
• RQ3 所提出的方法是否与网络架构无关，适用于单路径和多路径 CNN？
• RQ4 在作为骨干网络压缩时，该方法在图像分类、目标检测和姿态估计等不同任务上有何表现？
• RQ5 在不同模型中，剪枝程度（加速）与准确度之间的权衡如何？

主要发现

• 该方法在单层剪枝中始终优于若干滤波器选择基线，在 VGG-16 上能保留更多信息以用于重构。
• 基于子空间聚类的逐层剪枝在不进行微调的情况下实现加速（如 2x、4x、5x），且相比竞争方法具有更小的准确度损失，微调后结果相似或更好。
• 在 ResNet-50 上，该方法实现 2x 加速，且在没有和有微调的情况下，准确度下降均小于领先基线。
• 对于使用 Faster R-CNN（VGG-16 骨干网络）的目标检测，剪枝到 2x 和 4x 对 mAP 的损失很小（分别为 0.2 和 1.0 点），相较基线。
• 在 MSCOCO-14 的 CMU-Pose 上，2x 和 4x 剪枝导致的 mAP 下降较小（分别为 0.8 和 1.9 点）。
• 在跨任务的加速卷积骨干网络方面，该方法展现出强泛化能力——在微调后实现显著的计算和内存减少，同时性能下降有限。