[论文解读] Imitation networks: Few-shot learning of neural networks from scratch
本文提出模仿网络（imitation networks），一种少样本学习方法，通过模仿稳健的参考估计器，仅使用少量标注数据从零开始训练神经网络。通过将伪训练样本作为模型参数进行优化，该方法在极少量标注数据下也优于标准知识蒸馏和简单训练，表现更优。
In this paper, we propose imitation networks, a simple but effective method for training neural networks with a limited amount of training data. Our approach inherits the idea of knowledge distillation that transfers knowledge from a deep or wide reference model to a shallow or narrow target model. The proposed method employs this idea to mimic predictions of reference estimators that are much more robust against overfitting than the network we want to train. Different from almost all the previous work for knowledge distillation that requires a large amount of labeled training data, the proposed method requires only a small amount of training data. Instead, we introduce pseudo training examples that are optimized as a part of model parameters. Experimental results for several benchmark datasets demonstrate that the proposed method outperformed all the other baselines, such as naive training of the target model and standard knowledge distillation.
研究动机与目标
- 解决在标注数据有限的情况下训练深度神经网络的挑战，其中过拟合是一个主要问题。
- 开发一种方法，实现从稳健参考模型到目标模型的有效知识迁移，而无需依赖大规模标注数据集。
- 使用少量真实样本和学习得到的伪样本，从零开始训练浅层或窄层目标网络。
- 通过利用参考估计器的预测一致性，在低数据场景下提升泛化能力。
提出的方法
- 该方法基于知识蒸馏原理，但在仅使用少量标注数据的少样本设置中应用。
- 引入了作为模型参数一部分进行优化的伪训练样本。
- 目标网络被训练以模仿一个在更大、可能无关的数据集上预训练过的更稳健的参考估计器的预测结果。
- 伪样本是可微的，并通过反向传播进行更新，以提升目标模型的泛化能力。
- 训练目标是最小化目标模型输出与参考估计器输出在真实样本和伪样本上的交叉熵损失。
- 该方法实现了仅使用少量标注样本和优化后的伪数据，从零开始端到端训练目标网络。
实验结果
研究问题
- RQ1知识蒸馏能否在仅使用极少标注数据的少样本学习场景中有效应用？
- RQ2将伪训练样本作为模型参数进行优化，能否提升低数据场景下的泛化能力？
- RQ3在准确率和鲁棒性方面，模仿网络与标准知识蒸馏和简单训练相比表现如何？
- RQ4能否仅使用少量真实样本和伪样本，从零开始训练目标网络并实现高性能？
主要发现
- 模仿网络在所有测试的基准数据集上均优于目标模型的简单训练方法。
- 该方法在准确率上优于标准知识蒸馏，而后者通常需要大规模标注数据集。
- 使用经过优化的伪样本显著减少了低数据场景下的过拟合。
- 即使仅使用少量标注样本，该方法也表现出强大的泛化性能。
- 参考估计器的鲁棒性被有效传递到目标模型，使其能够从零开始实现高性能。
- 实验结果证实了该方法在多个基准数据集上的优越性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。