[论文解读] Pruning Convolutional Neural Networks with Self-Supervision

Mathilde Caron, Ari S. Morcos+3 more|arXiv (Cornell University)|Jan 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用 31

一句话总结

本文研究在标准基于幅度的非结构化剪枝（通常用于有监督学习）上应用于使用自监督任务训练的网络，结果显示剪枝后的自监督子网在迁移性能上保持或提升，并且可以在带标签的数据上重新训练。

ABSTRACT

Convolutional neural networks trained without supervision come close to matching performance with supervised pre-training, but sometimes at the cost of an even higher number of parameters. Extracting subnetworks from these large unsupervised convnets with preserved performance is of particular interest to make them less computationally intensive. Typical pruning methods operate during training on a task while trying to maintain the performance of the pruned network on the same task. However, in self-supervised feature learning, the training objective is agnostic on the representation transferability to downstream tasks. Thus, preserving performance for this objective does not ensure that the pruned subnetwork remains effective for solving downstream tasks. In this work, we investigate the use of standard pruning methods, developed primarily for supervised learning, for networks trained without labels (i.e. on self-supervised tasks). We show that pruned masks obtained with or without labels reach comparable performance when re-trained on labels, suggesting that pruning operates similarly for self-supervised and supervised learning. Interestingly, we also find that pruning preserves the transfer performance of self-supervised subnetwork representations.

研究动机与目标

• 评估为有监督学习而开发的标准剪枝方法在自监督网络上是否有效。
• 评估剪枝如何影响自监督特征向下游任务的可迁移性。
• 研究剪枝后的自监督子网是否能够在有监督任务上重新训练。
• 考察在剪枝过程中使用部分监督（半监督剪枝）对剪枝结果的影响。

提出的方法

• 将基于幅度的非结构化迭代剪枝应用于使用自监督任务训练的超参数化网络。
• 在重新训练剪枝后的子网时，使用权重重置策略（胜利票）或随机重新初始化。
• 评估两种自监督任务：RotNet 与 Exemplar（以及 NPDI）作为剪枝的预文本目标。
• 将剪枝后的表示迁移到下游任务（VOC07、Places205、ImageNet），使用线性/微调分类器。
• 在剪枝过程中比较有监督、无监督和半监督剪枝（部分标签）之间的差异。
• 报告从保留权重20%到99.9%的剪枝率的结果。

实验结果

研究问题

• RQ1 当基础网络使用自监督目标进行训练时，标准的有监督剪枝方法是否能产生有效的子网？
• RQ2 剪枝后的自监督子网在下游任务上的迁移性能是否与带标签的剪枝相当？
• RQ3 剪枝后的子网是否可以从其初始状态在有监督任务上重新训练，以及胜利票与随机初始化相比如何？
• RQ4 在剪枝过程中引入部分标签监督（半监督剪枝）是否提高了得到的子网的质量？

主要发现

• 将权重剪枝至最多90%（剩余不到0.1%）时，在使用线性分类器对 VOC07、Places205 和 ImageNet 进行评估时，迁移性能并未下降。
• 剪枝后的自监督子网在随机重新初始化时可以重新训练以达到或超过有监督剪枝的性能，而胜利票对自监督剪枝的优势较小。
• 在迁移前剪枝通常比在迁移期间剪枝得到更好的结果；剪枝的预训练模型可以提供给计算资源有限的用户使用。
• 自监督剪枝产生的掩码质量与有监督剪枝相似，但相关的胜利票初始化不如来自标签分类的那样强。
• 半监督剪枝（使用约10%标记数据）在胜利票初始化和下游准确率方面优于无监督剪枝，表明某种标签依赖性的胜利票存在。