[论文解读] A Realistic Evaluation of Semi-Supervised Learning for Fine-Grained Classification

Jong-Chyi Su, Zezhou Cheng+1 more|arXiv (Cornell University)|Apr 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 49被引用 7

一句话总结

本文在具有长尾类别分布和域外类别无标签数据的现实细粒度分类设置中评估了半监督学习（SSL）。研究发现，尽管从零开始训练的SSL能从域外数据中受益，但使用预训练专家模型时，微调与蒸馏自训练相结合的迁移学习方法在性能上远超SSL，尤其在存在域外数据时更为有效且鲁棒。

ABSTRACT

We evaluate the effectiveness of semi-supervised learning (SSL) on a realistic benchmark where data exhibits considerable class imbalance and contains images from novel classes. Our benchmark consists of two fine-grained classification datasets obtained by sampling classes from the Aves and Fungi taxonomy. We find that recently proposed SSL methods provide significant benefits, and can effectively use out-of-class data to improve performance when deep networks are trained from scratch. Yet their performance pales in comparison to a transfer learning baseline, an alternative approach for learning from a few examples. Furthermore, in the transfer setting, while existing SSL methods provide improvements, the presence of out-of-class is often detrimental. In this setting, standard fine-tuning followed by distillation-based self-training is the most robust. Our work suggests that semi-supervised learning with experts on realistic datasets may require different strategies than those currently prevalent in the literature.

研究动机与目标

• 评估半监督学习（SSL）在存在类别不平衡和域外数据的现实场景中的有效性。
• 比较从零开始训练与微调预训练模型（即迁移学习）时SSL的性能表现。
• 探究在实际设置中，域外无标签数据是否能提升或损害SSL性能。
• 识别在现实数据分布和域偏移条件下适用于细粒度分类的稳健SSL策略。

提出的方法

• 本研究通过从Aves和Fungi分类系统中采样类别，构建了两个基准数据集——Semi-Aves和Semi-Fungi，其具有长尾类别分布，并包含来自同类和域外类别的无标签数据。
• 评估了多种SSL方法：Pseudo-Label、Curriculum Pseudo-Label、FixMatch以及基于蒸馏的自训练方法，既从零开始训练，也使用ImageNet和iNaturalist的预训练模型。
• 性能评估基于域内无标签数据（$U_{in}$）和域内与域外数据的组合（$U_{in}+U_{out}$），并通过消融实验分析阈值设置与蒸馏损失的影响。
• 作者使用官方代码与重新实现的代码对FixMatch进行评估，以确保可复现性，并报告了各实现中的最佳结果。
• 通过预测置信度、熵以及蒸馏损失分析模型不确定性，以理解SSL模型如何处理同类与域外数据。
• 实验对比了监督基线、SSL方法以及有无域外数据的迁移学习方法，以准确率为首要指标。

Figure 1: Accuracy of semi-supervised learning (SSL) algorithms on the Semi-Aves and Semi-Fungi datasets (see Fig. 2 ) using (i) different pre-trained models, and (ii) in-class ( $U_{in}$ ) and out-of-class ( $U_{in}+U_{out}$ ) unlabeled data. The performances of the supervised baseline and supervis

实验结果

研究问题

• RQ1 当数据呈现长尾分布并包含域外图像时，半监督学习能否有效提升细粒度分类的性能？
• RQ2 在使用预训练模型与从零开始训练时，域外无标签数据的存在如何影响SSL性能？
• RQ3 在存在域偏移的现实基准中，现有SSL方法能否可靠地利用域外数据？
• RQ4 在少样本设置下，与从零开始训练的SSL相比，结合微调与基于蒸馏的自训练的迁移学习是否更具有效性？

主要发现

• 从零开始训练时，自监督预训练后接基于蒸馏的自训练方法表现最佳，且显著受益于域外数据。
• 在迁移学习设置中，微调与基于蒸馏的自训练方法优于所有SSL方法，在Semi-Aves数据集上使用5k标签时达到97.2%的准确率，甚至超过从零开始训练的FixMatch。
• 在迁移学习设置中，域外无标签数据的存在通常会损害性能，尤其对FixMatch和Pseudo-Label等方法影响显著。
• 在存在域外数据的情况下，基于蒸馏的自训练方法是最具鲁棒性的SSL方法，在各类设置中均保持稳定性能。
• Pseudo-Label对阈值选择敏感；较高的阈值可减轻域外数据的负面影响，但同时也会减少可利用的无标签数据量。
• 即使域偏移较小，现有SSL方法也无法可靠地利用域外数据，表明当前方法在现实场景中存在关键局限。

Figure 2: The proposed benchmark for semi-supervised learning. The benchmark contains two datasets, with classes from the Aves and Fungi taxa respectively. Each represents a 200-way classification task and the training set contains (i) labeled images from these classes $L_{in}$ , (ii) unlabeled imag