[论文解读] Improved Training for Self-Training.

Gal Hyams, Daniel Greenfeld+1 more|arXiv (Cornell University)|Sep 30, 2017

Machine Learning and Data Classification被引用 2

一句话总结

本文提出一种自训练方法，通过在无标签数据中迭代标注高置信度预测结果，提升在少量标注数据下的模型性能。该方法在 MNIST 和 ADE20K 上应用，通过在在线训练过程中将高置信度预测作为伪标签，实现了图像分类和半监督语义分割的准确率提升。

ABSTRACT

It is well known that for some tasks, labeled data sets may be hard to gather. Therefore, we wished to tackle here the problem of having insufficient training data. We examined learning methods from unlabeled data after an initial training on a limited labeled data set. The suggested approach can be used as an online learning method on the unlabeled test set. In the general classification task, whenever we predict a label with high enough confidence, we treat it as a true label and train the data accordingly. For the semantic segmentation task, a classic example for an expensive data labeling process, we do so pixel-wise. Our suggested approaches were applied on the MNIST data-set as a proof of concept for a vision classification task and on the ADE20K data-set in order to tackle the semi-supervised semantic segmentation problem.

研究动机与目标

• 解决视觉任务中标注训练数据不足的问题，特别是语义分割等标注成本高昂的任务。
• 开发一种在小规模标注数据集上初步训练后，有效利用无标签数据的方法。
• 通过利用高置信度预测结果对无标签数据进行迭代标注并重新训练，实现在线学习。
• 在图像分类（MNIST）和语义分割（ADE20K）任务上验证该方法的有效性。

提出的方法

• 在小规模标注数据集上训练初始模型，以对无标签数据生成预测结果。
• 选择置信度高于预设阈值的预测结果，并将其作为伪标签。
• 以在线方式使用原始标注数据和新生成的伪标签数据联合重新训练模型。
• 在语义分割任务中逐像素应用该方法，即在将预测结果用作伪标签前，先评估每个像素预测的置信度。
• 采用迭代优化：多次重新训练模型，每次均引入新生成的伪标签数据。
• 将该方法应用于分类任务（MNIST）和密集预测任务（ADE20K），以验证其泛化能力。

实验结果

研究问题

• RQ1 在标注数据稀缺的情况下，使用高置信度伪标签进行自训练是否能提升模型性能？
• RQ2 该方法在语义分割这一高成本标注任务的半监督设置下效果如何？
• RQ3 在线、迭代的重新训练策略是否能在不同任务中带来一致的性能提升？
• RQ4 该方法能否在极少修改的情况下，从简单的分类任务（MNIST）泛化到复杂的密集预测任务（ADE20K）？

主要发现

• 通过迭代伪标签化方法，仅使用少量初始标注数据和无标签数据，该方法在 MNIST 上显著提升了模型性能。
• 在 ADE20K 数据集上，该方法通过利用高置信度像素级预测，在半监督语义分割任务中取得了具有竞争力的结果。
• 迭代重新训练过程相较于基线自训练方法，带来了持续的性能提升。
• 该方法作为在线学习方法表现出色，能够持续适应无标签测试数据。
• 该方法在极少修改网络架构的情况下，实现了从图像分类到密集预测任务的强泛化能力。
• 高置信度预测结果足够可靠，可作为伪标签，显著提升模型准确率，同时大幅减少人工标注需求。