[论文解读] Cross Quality Distillation.

Jong-Chyi Su, Subhransu Maji|arXiv (Cornell University)|Apr 1, 2016

Domain Adaptation and Few-Shot Learning参考文献 38被引用 9

一句话总结

本文提出交叉质量蒸馏（CQD），一种通过对其泛化行为进行对齐，将高质量数据训练模型的知识迁移至低质量数据训练模型的方法。该方法在多个识别任务中显著提升了低质量测试数据的准确率，例如低分辨率图像识别和边缘到彩色图像的转换。

ABSTRACT

We propose a technique for training recognition models when high-quality data is available at training time but not at testing time. Our approach, called Cross Quality Distillation (CQD), first trains a model on the high-quality data and encourages a second model trained on the low-quality data to generalize in the same way as the first. The technique is fairly general and only requires the ability to generate low-quality data from the high-quality data. We apply this to learn models for recognizing low-resolution images using labeled high-resolution images, non-localized objects using labeled localized objects, edge images using labeled color images, etc. Experiments on various fine-grained recognition datasets demonstrate that the technique leads to large improvements in recognition accuracy on the low-quality data. We also establish connections of CQD to other areas of machine learning such as domain adaptation, model compression, and learning using privileged information, and show that the technique is general and can be applied to other settings. Finally, we present further insights into why the technique works through visualizations and establishing its relationship to curriculum learning.

研究动机与目标

• 解决在训练期间仅有高质量标注数据可用时，识别低质量数据的挑战。
• 开发一种可泛化的蒸馏技术，以对齐高质量与低质量数据分布下模型的行为。
• 在无需使用标注的低质量数据的情况下，提升低质量测试数据上的识别准确率。
• 建立CQD与领域自适应及带特权信息学习等相关领域的理论与实证联系。

提出的方法

• 在高质量数据上训练教师模型，以学习鲁棒且可泛化的特征。
• 生成高质量训练数据的低质量版本，用于训练学生模型。
• 使用知识蒸馏将学生模型的预测结果与教师模型的输出对齐。
• 优化学生模型以模仿教师模型的泛化行为，即使输入数据质量存在差异。
• 使用蒸馏损失，促使学生模型在分布偏移的情况下学习与教师模型相同的决策边界。
• 将该框架应用于多种任务，包括低分辨率图像识别和边缘到彩色图像的转换。

实验结果

研究问题

• RQ1 从在高质量数据上训练的模型中迁移知识，是否能提升在低质量测试数据上的性能？
• RQ2 蒸馏在多大程度上能对齐不同数据质量水平下模型的行为？
• RQ3 CQD在低质量测试场景下的识别准确率提升效果如何？
• RQ4 CQD与领域自适应及带特权信息学习等既定范式有何关联？
• RQ5 CQD为课程学习与特征泛化提供了哪些新见解？

主要发现

• CQD在多个细粒度识别数据集上显著提升了低质量测试数据的识别准确率。
• 即使在训练过程中未使用任何标注的低质量数据，该方法仍实现了显著的性能提升。
• CQD通过有效从高质量数据分布向低质量数据分布迁移知识，展现出强大的泛化能力。
• 该技术与领域自适应、模型压缩以及带特权信息学习存在紧密联系。
• 可视化结果表明，CQD促使学生模型学习到更鲁棒且更具泛化能力的特征。
• 该方法在多种场景下均表现有效，包括低分辨率图像识别和边缘到彩色图像的转换。