[论文解读] Dual Lottery Ticket Hypothesis

Yue Bai, Huan Wang+3 more|arXiv (Cornell University)|Mar 8, 2022

Machine Learning and Data Classification被引用 11

一句话总结

本文提出了双重彩票券假设（Dual Lottery Ticket Hypothesis, DLTH），该假设指出，通过一种新颖的基于正则化的训练策略——随机稀疏网络转换（Random Sparse Network Transformation, RST），可以从密集网络中随机初始化的子网络转化为可训练且性能优异的模型。RST 在无需预训练的情况下实现了与彩票券假设（Lottery Ticket Hypothesis, LTH）相当的性能，证明了通过权重正则化和信息外溢，随机子网络可被转化为可训练模型，从而为稀疏网络训练提供了一种更具灵活性和泛化能力的新方法。

ABSTRACT

Fully exploiting the learning capacity of neural networks requires overparameterized dense networks. On the other side, directly training sparse neural networks typically results in unsatisfactory performance. Lottery Ticket Hypothesis (LTH) provides a novel view to investigate sparse network training and maintain its capacity. Concretely, it claims there exist winning tickets from a randomly initialized network found by iterative magnitude pruning and preserving promising trainability (or we say being in trainable condition). In this work, we regard the winning ticket from LTH as the subnetwork which is in trainable condition and its performance as our benchmark, then go from a complementary direction to articulate the Dual Lottery Ticket Hypothesis (DLTH): Randomly selected subnetworks from a randomly initialized dense network can be transformed into a trainable condition and achieve admirable performance compared with LTH -- random tickets in a given lottery pool can be transformed into winning tickets. Specifically, by using uniform-randomly selected subnetworks to represent the general cases, we propose a simple sparse network training strategy, Random Sparse Network Transformation (RST), to substantiate our DLTH. Concretely, we introduce a regularization term to borrow learning capacity and realize information extrusion from the weights which will be masked. After finishing the transformation for the randomly selected subnetworks, we conduct the regular finetuning to evaluate the model using fair comparisons with LTH and other strong baselines. Extensive experiments on several public datasets and comparisons with competitive approaches validate our DLTH as well as the effectiveness of the proposed model RST. Our work is expected to pave a way for inspiring new research directions of sparse network training in the future. Our code is available at https://github.com/yueb17/DLTH.

研究动机与目标

• 探究从随机初始化的密集网络中随机选取的子网络是否可被转化为具有强性能的可训练配置。
• 通过探索反向问题，挑战传统彩票券假设（LTH）的关注焦点：任何随机子网络是否都能成为获胜彩票？
• 开发一种无需依赖迭代剪枝或预训练的训练策略，以实现在多样化稀疏结构上的泛化能力。
• 通过在CIFAR-10、CIFAR-100和ImageNet子集上使用ResNet架构的大量实验，验证该假设。
• 通过强调密集网络与其子网络之间内在关系，为稀疏网络训练提供新视角。

提出的方法

• 提出随机稀疏网络转换（RST）策略，通过引入增强学习能力的正则化项，将随机选择的子网络转化为可训练配置。
• 使用正则化项从未掩码权重中借用学习能力，并在训练过程中促进被掩码权重的信息外溢。
• 在RST过程后对转换后的子网络进行迭代微调，以实现与LTH及其他基线方法的公平比较。
• 采用基于GraSP的逐层稀疏率，以确保在不同稀疏度水平下的一致且公平的评估。
• 将RST框架适配至不同稀疏度水平和网络架构（包括ResNet56和ResNet18），以支持广泛适用性。
• 对循环次数和稀疏度水平进行消融研究，分析迭代转换对性能的影响。

实验结果

研究问题

• RQ1 能否将从随机初始化的密集网络中随机选取的子网络，通过RST转化为性能与LTH中获胜彩票相当的可训练配置？
• RQ2 所提出的RST策略是否能在无需预训练或迭代剪枝的情况下，使随机子网络实现强泛化能力？
• RQ3 在不同稀疏度水平下，RST的性能与GraSP等成熟“初始化时剪枝”方法相比如何？
• RQ4 迭代转换循环次数和稀疏度水平对转换后子网络最终性能有何影响？
• RQ5 RST策略是否能在不同数据集和网络架构上实现泛化，同时保持高性能？

主要发现

• 在50%稀疏度下，RST在CIFAR-10上达到92.69% ± 0.13的top-1准确率，优于GraSP的91.72%，并接近93.50%的基线准确率。
• 在CIFAR-100上，RST在50%稀疏度下达到70.18% ± 0.29的准确率，超过GraSP的67.88%，并在更高稀疏度下展现出强大的泛化能力。
• 在使用ResNet18的ImageNet子集上，RST在70%稀疏度下达到76.95%的top-1准确率，超过GraSP的75.20%，并在更高稀疏度下保持更优性能。
• 消融研究显示，RST在1–5轮迭代循环中保持稳定性能，即使在98%稀疏度下也仅有轻微退化，表明其对高稀疏度具有鲁棒性。
• 与LTH相比，该方法在更少的训练循环中取得有竞争力的结果，表明其在稀疏网络训练中具有降低计算成本的潜力。
• 实验结果验证了双重彩票券假设，表明通过正则化和迭代微调，随机子网络可被转化为高性能模型。