[论文解读] Bringing Giant Neural Networks Down to Earth with Unlabeled Data

Yehui Tang, Shan You+3 more|arXiv (Cornell University)|Jul 13, 2019

Domain Adaptation and Few-Shot Learning参考文献 72被引用 15

一句话总结

本文提出了一种名为 PUD（使用未标记数据进行剪枝）的方法，仅使用少量标记样本和大量未标记数据来压缩巨型神经网络，通过对抗性特征对齐减轻数据集偏差。该方法在仅使用 1,000 个标记样本和未标记数据的情况下，在 CIFAR-10 上实现了最先进（SOTA）的准确率，显著优于现有的蒸馏方法。

ABSTRACT

Compressing giant neural networks has gained much attention for their extensive applications on edge devices such as cellphones. During the compressing process, one of the most important procedures is to retrain the pre-trained models using the original training dataset. However, due to the consideration of security, privacy or commercial profits, in practice, only a fraction of sample training data are made available, which makes the retraining infeasible. To solve this issue, this paper proposes to resort to unlabeled data in hand that can be cheaper to acquire. Specifically, we exploit the unlabeled data to mimic the classification characteristics of giant networks, so that the original capacity can be preserved nicely. Nevertheless, there exists a dataset bias between the labeled and unlabeled data, which may disturb the training and degrade the performance. We thus fix this bias by an adversarial loss to make an alignment on the distributions of their low-level feature representations. We further provide theoretical discussions about how the unlabeled data help compressed networks to generalize better. Experimental results demonstrate that the unlabeled data can significantly improve the performance of the compressed networks.

研究动机与目标

• 解决在隐私、安全或商业限制下仅能获取原始训练数据子集时，压缩大型神经网络的挑战。
• 克服在模型剪枝和微调过程中，由于有限标记数据与大量未标记数据之间的数据集偏差导致的性能下降问题。
• 通过将未标记数据作为知识蒸馏的代理，保留压缩模型中巨型网络的分类能力。
• 通过低层特征表示的对抗性对齐和 Rademacher 损失正则化，提升剪枝网络的泛化能力和准确率。

提出的方法

• 利用未标记数据模拟预训练巨型网络的软化输出，实现在无法访问完整标记数据集的情况下进行知识蒸馏。
• 引入对抗性损失，对齐标记数据与未标记数据的低层特征表示，减少两者之间的分布偏差。
• 采用多任务训练目标，结合在标记数据和未标记数据上的蒸馏损失，并对未标记样本施加实例级置信度加权。
• 将 Rademacher 损失作为正则化项以增强泛化能力，最优权重设定为 0.001。
• 通过结合在标记数据上的监督损失、在未标记数据上的蒸馏损失以及对抗性特征对齐，训练剪枝网络。
• 使用预训练的巨型网络为未标记数据生成软标签，随后在微调过程中用这些软标签监督剪枝网络。

实验结果

研究问题

• RQ1 在压缩巨型神经网络时，未标记数据能否有效弥补完整标记训练数据的缺失？
• RQ2 在模型压缩的知识蒸馏过程中，如何缓解标记数据与未标记数据之间的数据集偏差？
• RQ3 当标记数据极度有限时，未标记数据对剪枝网络的泛化能力和准确率有何贡献？
• RQ4 在缺乏完整训练数据的情况下，低层网络层的对抗性特征对齐如何提升性能？
• RQ5 蒸馏损失与正则化损失（如 Rademacher 损失）的结合能否进一步增强压缩模型的鲁棒性和准确率？

主要发现

• 仅使用 1,000 个标记样本和未标记数据，所提方法在 CIFAR-10 上实现了 91.14% 的 top-1 准确率，优于最先进知识蒸馏方法。
• 仅使用未标记数据进行蒸馏损失，相比无未标记数据的基线模型，准确率提升了 10.84%，表明未标记数据提供了强大的信号。
• 结合标记数据与未标记数据并采用对抗性对齐，相比仅使用标记数据进行蒸馏，准确率提升了 2.26%。
• 当 η = 0.001 时，Rademacher 损失提供最优正则化，增强泛化能力，相比无正则化，准确率最高提升 1.92%。
• 该方法显著降低了因数据分布偏移导致的性能下降，表现为在不同标记数据量（100、500、1,000）下均保持一致的性能增益。
• 对抗性特征对齐损失有效减少了标记数据与未标记数据之间的领域偏移，实现了更好的特征表示对齐，提升了模型泛化能力。