[论文解读] Knowledge distillation using unlabeled mismatched images

Mandar Kulkarni, Kalpesh Patil+1 more|arXiv (Cornell University)|Mar 21, 2017

Advanced Neural Network Applications参考文献 9被引用 15

一句话总结

本文提出在训练数据不可用或稀缺时，使用未标注的不匹配图像（如用 CIFAR-10 作为 MNIST 的输入，或用 Tiny ImageNet 作为 CIFAR-10 的输入）进行知识蒸馏。实验表明，刺激物的复杂性对蒸馏性能有决定性影响，更复杂的数据集能显著提升学生模型的准确率，甚至在某些情况下超越匹配数据的性能，并在小规模标注数据集下展现出有效的数据增强效果。

ABSTRACT

Current approaches for Knowledge Distillation (KD) either directly use training data or sample from the training data distribution. In this paper, we demonstrate effectiveness of 'mismatched' unlabeled stimulus to perform KD for image classification networks. For illustration, we consider scenarios where this is a complete absence of training data, or mismatched stimulus has to be used for augmenting a small amount of training data. We demonstrate that stimulus complexity is a key factor for distillation's good performance. Our examples include use of various datasets for stimulating MNIST and CIFAR teachers.

研究动机与目标

• 探究当缺乏训练数据时，未标注的不匹配图像是否能有效作为知识蒸馏的刺激物。
• 评估刺激数据集复杂性对蒸馏性能的影响。
• 探索未标注的不匹配数据在小规模标注训练集中的数据增强应用价值。
• 证明复杂且不匹配的刺激物在蒸馏中可超越匹配或更简单刺激物的性能。
• 量化刺激物复杂性与学生模型泛化性能之间的关系。

提出的方法

• 当缺乏训练数据时，仅使用教师网络输出的软标签作为监督信号，通过不匹配的未标注刺激物进行知识蒸馏，省略硬标签项。
• 学生网络通过联合优化交叉熵损失（教师与学生输出之间的软标签损失）和（当可用时）真实标签的交叉熵损失（硬标签损失）进行训练。
• 在无标注数据的场景下，仅优化软标签损失，使用如 CIFAR-10、STL-10、Shape 或随机噪声作为刺激物。
• 在数据增强场景中，将小规模标注数据集与未标注的不匹配刺激物结合，其中未标注数据在硬标签损失项中被视作均匀分布在所有类别上。
• 通过视觉变化和数据集多样性来量化刺激物复杂性，复杂性排序为：MNIST < Shape < SVHN < Texture < Tiny ImageNet。
• 实验采用标准的 CNN 架构作为教师和学生模型，并对模型大小和刺激类型进行消融实验。

实验结果

研究问题

• RQ1 当缺乏训练数据时，是否可以仅使用未标注的不匹配图像有效进行知识蒸馏？
• RQ2 不匹配刺激物的复杂性如何影响学生模型在知识蒸馏中的性能？
• RQ3 在仅拥有小规模标注数据集时，使用不匹配的未标注数据作为数据增强是否能提升泛化能力？
• RQ4 对于 MNIST 和 CIFAR-10 教师模型，哪些不匹配的刺激数据集能带来最佳的蒸馏性能？
• RQ5 刺激物数据集复杂性与学生模型准确率之间是否存在可测量的相关性？

主要发现

• 对于 MNIST 教师模型，使用 CIFAR-10 作为不匹配刺激物，在相同架构的学生模型上实现了 98.1% 的测试准确率，而教师模型为 99.1%。
• 在 CIFAR-10 教师模型上，使用更复杂的 Tiny ImageNet 作为刺激物，学生模型在相同架构下达到 74.0% 的测试准确率，显著优于更简单的刺激物（如 Shape 为 22.8%，噪声为 12.5%）。
• 当学生网络参数量减少 10 倍时，使用 Tiny ImageNet 作为刺激物在 CIFAR-10 上达到 71.4% 的准确率，显著优于 MNIST（59.4%）和 Shape（59.3%）。
• 在数据增强实验中，将 500 个 MNIST 标注样本与 3000 个 CIFAR-10 或 Shape 的未标注刺激物结合，测试准确率从 95.5% 提升至 97.3%。
• 对于 CIFAR-10，使用 5000 个标注样本并加入 5000 个 Tiny ImageNet 未标注刺激物，测试准确率从 54.8% 提升至 63.4%，显示出显著的泛化增益。
• 清晰的趋势显现：更复杂的刺激物（如 Tiny ImageNet）始终优于更简单的刺激物（如 MNIST、Shape），证实复杂性是蒸馏成功的关键因素。