[论文解读] Good Students Play Big Lottery Better.

Haoyu Ma, Tianlong Chen+4 more|arXiv (Cornell University)|Jan 8, 2021

Advanced Neural Network Applications参考文献 36被引用 15

一句话总结

本文提出知识蒸馏彩票（KD tickets），一种新颖的方法，用于在ResNet-50和ResNet-110等大模型中识别稀疏子网络，其性能可匹配或超越彩票理论中的表现。通过利用训练完成的稠密网络生成的软标签对子网络进行微调，KD方法在无需超参数调优的情况下，性能优于或匹配重置方法（rewinding），并可在与重置方法结合时进一步提升性能，在CIFAR-10和ImageNet上实现了最先进结果。

ABSTRACT

Lottery hypothesis suggests that a dense neural network contains a sparse sub-network that can match the test accuracy of the original dense net when trained in isolation from (the same) random initialization. However, the hypothesis failed to generalize to larger dense networks such as ResNet-50. As a remedy, recent studies demonstrate that a sparse sub-network can still be obtained by using a rewinding technique, which is to re-train it from early-phase training weights or learning rates of the dense model, rather than from random initialization. Is rewinding the only or the best way to scale up lottery tickets? This paper proposes a new, simpler and yet powerful technique for re-training the sub-network, called Knowledge Distillation ticket (KD ticket). Rewinding exploits the value of inheriting knowledge from the early training phase to improve lottery tickets in large networks. In comparison, KD addresses a complementary possibility - inheriting useful knowledge from the late training phase of the dense model. It is achieved by leveraging the soft labels generated by the trained dense model to re-train the sub-network, instead of the hard labels. Extensive experiments are conducted using several large deep networks (e.g ResNet-50 and ResNet-110) on CIFAR-10 and ImageNet datasets. Without bells and whistles, when applied by itself, KD performs on par or better than rewinding, while being nearly free of hyperparameters or ad-hoc selection. KD can be further applied together with rewinding, yielding state-of-the-art results for large-scale lottery tickets.

研究动机与目标

• 为解决彩票理论在扩展至ResNet-50等大模型时的局限性，即标准随机初始化无法产生高性能稀疏子网络的问题。
• 探究是否可利用稠密网络训练后期的知识来提升彩票子网络的性能，而非仅依赖早期阶段的权重（如重置方法中所用）。
• 开发一种比重置方法更简单、更鲁棒的替代方案，避免对超参数的敏感性以及对训练阶段的主观选择。
• 证明即使单独使用，从稠密模型软标签中进行知识蒸馏也能生成高性能的稀疏子网络。
• 通过结合KD与重置方法，在大规模彩票子网络发现中实现最先进性能。

提出的方法

• 提出知识蒸馏彩票（KD tickets），其中稀疏子网络在稠密模型完全训练后，使用其软标签（logits）进行微调。
• 子网络从与原始稠密模型相同的随机权重初始化，但使用蒸馏损失而非标准交叉熵损失和硬标签进行训练。
• 利用稠密模型最终状态的知识来指导子网络的学习，使其泛化能力优于随机初始化或早期阶段权重初始化。
• 该方法在核心形式上为无超参数，无需选择训练阶段或学习率调度策略。
• 可通过先应用KD再使用重置权重进行微调，与重置方法结合，实现协同性能提升。
• 采用标准蒸馏技术，包括温度缩放和知识蒸馏损失，将教师网络（稠密模型）的知识传递给学生网络（子网络）。

实验结果

研究问题

• RQ1 能否利用稠密网络训练后期的知识来提升大模型中稀疏子网络的性能？
• RQ2 基于软标签的知识蒸馏在大规模彩票子网络发现中是否能表现优于或匹配重置方法？
• RQ3 能否设计一种既有效又无超参数的彩票子网络蒸馏方法，避免对训练阶段的主观选择？
• RQ4 在不同架构和数据集上，KD与重置方法在准确率和鲁棒性方面有何比较？
• RQ5 KD能否与重置方法结合，实现在大规模彩票子网络训练中的最先进结果？

主要发现

• KD tickets在ResNet-50和ResNet-110上无需任何超参数调优，性能即可达到或优于重置方法。
• 该方法几乎无超参数，消除了对训练阶段或学习率手动选择的需求。
• 在CIFAR-10和ImageNet上，KD方法本身即可匹配或超越先前工作中报告的最先进彩票子网络准确率。
• 当与重置方法结合时，KD进一步提升性能，在大规模彩票子网络发现中实现最先进结果。
• 使用训练完成的稠密模型生成的软标签，使子网络能够学习到比仅使用硬标签更鲁棒、更具泛化能力的特征。
• 该方法在不同架构和数据集上均表现出良好泛化能力，在CIFAR-10和ImageNet基准测试中均实现一致性能提升。