[论文解读] Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection

Mao Ye, Chengyue Gong+4 more|arXiv (Cornell University)|Mar 3, 2020

Advanced Neural Network Applications参考文献 52被引用 37

一句话总结

本文证明贪心前向选择可以找到小子网络，其损失在可证明下比从零开始训练更低，并在ImageNet模型上展示出强大的经验剪枝结果。

ABSTRACT

Recent empirical works show that large deep neural networks are often highly redundant and one can find much smaller subnetworks without a significant drop of accuracy. However, most existing methods of network pruning are empirical and heuristic, leaving it open whether good subnetworks provably exist, how to find them efficiently, and if network pruning can be provably better than direct training using gradient descent. We answer these problems positively by proposing a simple greedy selection approach for finding good subnetworks, which starts from an empty network and greedily adds important neurons from the large network. This differs from the existing methods based on backward elimination, which remove redundant neurons from the large network. Theoretically, applying the greedy selection strategy on sufficiently large {pre-trained} networks guarantees to find small subnetworks with lower loss than networks directly trained with gradient descent. Our results also apply to pruning randomly weighted networks. Practically, we improve prior arts of network pruning on learning compact neural architectures on ImageNet, including ResNet, MobilenetV2/V3, and ProxylessNet. Our theory and empirical results on MobileNet suggest that we should fine-tune the pruned subnetworks to leverage the information from the large model, instead of re-training from new random initialization as suggested in \citet{liu2018rethinking}.

研究动机与目标

• 解释为何通过前向选择进行剪枝可以获得比从零开始训练更好的小子网络的动机。
• 提出一个简单的贪心前向选择算法，用于从预训练的大网络构建子网络。
• 在温和假设下，提供对剪枝后子网络的损失衰减的理论保证。
• 在ImageNet架构（ResNet、MobileNet变体、ProxylessNet）上展示强大的经验剪枝性能。
• 讨论对剪枝子网络的微调与重新从随机初始化重新训练之间的实际意义。

提出的方法

• 将子网络选择问题定义为从大网络中选择至多 n 个神经元的子集 S，以最小化损失。
• 提出一个前向贪心规则：在每一步加入使 L[f_{S ∪ {i}}] 最小的神经元 i。
• 将 f_S 设为来自 S 的神经元激活的平均值，保持原始权重。
• 在温和假设（假设 1）下，证明贪心过程得到 L[f_{S_n}] = O(1/n) + L_N^*。
• 当大网络过度参数化充分时，证明更加快速的速率 L[f_{S_n}] = O(1/n^2)（假设 2）。
• 将假设 2 与过度参数化及 Frank-Wolfe 内点条件联系起来。
• 将结果扩展到随机权重网络（彩票票 context）并比较前向与向后消除。
• 提供适用于深度网络的分层实用算法 1，并讨论剪枝后的微调 vs 重新训练。

实验结果

研究问题

• RQ1 大型预训练网络中是否存在表现优于同等大小、从零开始训练的子网络的良好小子网络？
• RQ2 一个简单的贪心前向选择过程是否能可证明地找到具有有利损失衰减率的这样的子网络？
• RQ3 理论保证与梯度下降训练的小网络以及向后消除剪枝相比如何？
• RQ4 在现代架构与数据集（如 ImageNet）上，理论结果是否被经验所证实？

主要发现

• 贪心前向选择通常可得到大小为 n 的子网络，其损失为 L[f_{S_n}] = O(1/n) + L_N^*。
• 如果大网络充分过度参数化，L[f_{S_n}] = O(1/n^2)。
• O(1/n^2) 的速率扩展到随机初始化的大网络（独立同分布权重）。
• 剪枝后的子网络在 ImageNet FLOPs 约束下，通常优于同等大小、从零开始训练的网络，尤其是移动架构。
• 剪枝后对 MobileNet 变体进行微调通常优于从头重新训练，与理论一致。
• 在 ResNet34 和 MobileNetV2 上，前向选择在剪枝效率与准确性方面 empirically 优于向后消除。