[论文解读] Learning from a Teacher using Unlabeled Data

Gaurav Menghani, Sujith Ravi|arXiv (Cornell University)|Nov 13, 2019

Machine Learning and Data Classification参考文献 11被引用 5

一句话总结

本文提出了一种名为'盲蒸馏'（blind distillation）的方法，其中学生模型通过来自不同分布的纯无标签数据上教师模型的软标签进行学习。尽管从未见过任何标注样本，学生模型仅使用Fashion-MNIST数据就在MNIST上达到了96%的准确率，表明知识蒸馏能够将类别间关系从原始训练数据中迁移出来。

ABSTRACT

Knowledge distillation is a widely used technique for model compression. We posit that the teacher model used in a distillation setup, captures relationships between classes, that extend beyond the original dataset. We empirically show that a teacher model can transfer this knowledge to a student model even on an {\it out-of-distribution} dataset. Using this approach, we show promising results on MNIST, CIFAR-10, and Caltech-256 datasets using unlabeled image data from different sources. Our results are encouraging and help shed further light from the perspective of understanding knowledge distillation and utilizing unlabeled data to improve model quality.

研究动机与目标

• 探究知识蒸馏是否能够仅通过使用来自不同分布的无标签数据，将教师模型中的类别关系迁移至学生模型。
• 评估在分布外的无标签数据上训练的学生模型是否能有效泛化到原始的标注数据集。
• 理解教师与学生模型架构兼容性在盲蒸馏中的作用。
• 评估无标签数据作为监督学习补充训练信号的潜力。
• 探讨该方法对模型安全的影响，表明仅通过访问模型的logits和无标签数据，即可复现模型性能。

提出的方法

• 在标注数据集（如MNIST）上训练教师模型，并冻结其参数，以在来自不同分布的无标签数据（如Fashion-MNIST）上生成软标签（logits）。
• 使用学生模型自身的logits与教师模型的logits之间的交叉熵损失，在无标签数据上训练学生模型，且不访问原始标注数据。
• 使用t-SNE可视化分析教师模型的嵌入空间，表明其即使在不同数据分布下也能捕捉到类别间的语义关系。
• 在小部分原始标注数据上微调经过盲蒸馏的学生模型，以进一步提升性能。
• 比较不同教师-学生架构组合（如CNN-CNN、MLP-CNN）下的性能，以评估架构兼容性。
• 通过盲蒸馏后及微调后在原始测试集上的准确率来衡量性能。

实验结果

研究问题

• RQ1 学生模型是否能在从未见过其训练样本的情况下，仅通过学习教师模型在分布外无标签数据上的预测结果，实现高准确率？
• RQ2 教师模型对分布外数据的泛化能力在多大程度上反映了超越原始数据集的有意义的类别级关系？
• RQ3 教师与学生模型在架构上的不匹配如何影响盲蒸馏中的性能表现？
• RQ4 结合微调的盲蒸馏是否能实现与标准监督训练相当或更优的性能提升？
• RQ5 该方法对模型安全有何影响，特别是在仅能访问模型logits的情况下？

主要发现

• 在Fashion-MNIST数据上通过盲蒸馏训练的学生模型，在MNIST测试集上达到了96%的准确率，尽管在训练过程中从未接触过任何MNIST图像。
• 在仅使用一小部分MNIST标注数据进行微调后，当学生模型为MLP时，准确率提升至98.16%；当学生模型为CNN时，准确率提升至99.26%。
• 盲蒸馏的性能对教师-学生架构兼容性敏感，架构不匹配会导致准确率下降，但微调后可有效缓解该问题。
• 更准确的教师模型在学生训练过程中产生更高的交叉熵损失，表明其能传递更复杂的决策边界。
• t-SNE可视化显示，教师模型的嵌入空间保留了语义关系，来自不同数据集但外观相似的图像在空间中聚集在彼此附近。
• 在Caltech-256数据集上，使用OpenImages数据进行盲蒸馏的准确率为64.0%，微调后提升至72.3%，证明了该方法在多样化、高变化度数据集间的可迁移性。