[论文解读] Lottery Ticket Preserves Weight Correlation: Is It Desirable or Not?

Ning Liu, Geng Yuan+8 more|arXiv (Cornell University)|Feb 19, 2021

Video Analysis and Summarization参考文献 29被引用 9

一句话总结

本文指出，彩票票券假设依赖于权重初始化与最终权重之间的相关性，而这种相关性在训练充分的网络中会减弱。为克服此问题，本文提出一种微调方法，在VGG、ResNet和MobileNet-v2模型中，于相同的剪枝与训练设置下，其性能始终优于彩票票券稀疏训练方法。

ABSTRACT

In deep model compression, the recent finding Lottery Ticket Hypothesis (LTH) (Frankle & Carbin, 2018) pointed out that there could exist a winning ticket (i.e., a properly pruned sub-network together with original weight initialization) that can achieve competitive performance than the original dense network. However, it is not easy to observe such winning property in many scenarios, where for example, a relatively large learning rate is used even if it benefits training the original dense model. In this work, we investigate the underlying condition and rationale behind the winning property, and find that the underlying reason is largely attributed to the correlation between initialized weights and final-trained weights when the learning rate is not sufficiently large. Thus, the existence of winning property is correlated with an insufficient DNN pretraining, and is unlikely to occur for a well-trained DNN. To overcome this limitation, we propose the & fine-tuning method that consistently outperforms lottery ticket sparse training under the same pruning algorithm and the same total training epochs. Extensive experiments over multiple deep models (VGG, ResNet, MobileNet-v2) on different datasets have been conducted to justify our proposals.

研究动机与目标

• 探究彩票票券假设为何在许多实际场景中无法显现，尤其是使用大学习率时。
• 识别出使彩票票券存在的潜在条件，重点关注权重初始化与最终训练权重之间的相关性。
• 解决彩票票券在预训练充分的深度神经网络中难以出现的局限性。
• 提出一种方法，在相同的剪枝与训练制度下，持续优于彩票票券稀疏训练方法。
• 在多种架构（VGG、ResNet、MobileNet-v2）和数据集上验证所提方法。

提出的方法

• 该方法将初始化权重与最终训练权重之间的相关性视为决定彩票票券是否存在与否的关键因素。
• 其发现，高权重相关性是彩票票券成功的关键，但当模型使用大学习率训练时，这种相关性会显著下降。
• 所提方法在剪枝后引入一个微调阶段，以恢复在标准训练过程中丢失的有益权重相关性。
• 使用小学习率对剪枝后的子网络进行微调，以恢复并稳定初始权重的相关性。
• 该方法与基线彩票票券训练保持相同的总训练周期数和剪枝算法，确保公平比较。
• 该方法在多个模型和数据集上端到端应用，以确保泛化能力。

实验结果

研究问题

• RQ1 为何彩票票券假设在许多实际训练场景中无法显现，尤其是使用大学习率时？
• RQ2 在剪枝子网络中，彩票票券存在的潜在条件是什么？
• RQ3 初始化权重与最终权重之间的权重相关性如何影响彩票票券的性能？
• RQ4 是否可通过微调策略恢复因权重相关性不足而失效的彩票票券性能？
• RQ5 所提方法是否在相同训练与剪枝条件下持续优于标准的彩票票券稀疏训练方法？

主要发现

• 彩票票券的存在与初始化权重和最终训练权重之间的高相关性密切相关。
• 当模型使用大学习率训练时，这种权重相关性会显著减弱，从而解释了在这些设置下彩票票券失效的原因。
• 训练充分的深度神经网络表现出较低的权重相关性，因此不太可能成为彩票票券的候选。
• 所提微调方法通过在剪枝子网络中保留并增强权重相关性，成功恢复了性能。
• 该方法在所有评估的模型和数据集中持续优于标准的彩票票券稀疏训练方法。
• 该改进未增加总训练周期数，也未改变剪枝算法，确保了公平比较。