[论文解读] An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning

Xiu-Shen Wei, Heyang Xu+3 more|arXiv (Cornell University)|Sep 28, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出MUSIC，一种简单而有效的半监督少样本学习方法，通过逐轮排除低置信度类别，为无标签数据生成高度可信的负向伪标签。通过利用负向学习与拒绝选项策略，MUSIC仅使用极少代码和现成操作，便在四个基准数据集上实现最先进性能。

ABSTRACT

Semi-supervised few-shot learning consists in training a classifier to adapt to new tasks with limited labeled data and a fixed quantity of unlabeled data. Many sophisticated methods have been developed to address the challenges this problem comprises. In this paper, we propose a simple but quite effective approach to predict accurate negative pseudo-labels of unlabeled data from an indirect learning perspective, and then augment the extremely label-constrained support set in few-shot classification tasks. Our approach can be implemented in just few lines of code by only using off-the-shelf operations, yet it is able to outperform state-of-the-art methods on four benchmark datasets.

研究动机与目标

• 通过在半监督设置下利用无标签数据，解决少样本学习中标签效率低下的挑战。
• 在每类仅有少量标注样本时，提升少样本分类性能。
• 开发一种方法，通过最小化、模块化设计与现成操作，为无标签数据生成高度可信的伪标签。
• 探究在标签受限场景下，负向学习作为伪标签生成主要机制的有效性。

提出的方法

• MUSIC将问题建模为逐轮排除：不直接预测正向伪标签，而是识别并为置信度最低的类别分配负向伪标签。
• 在每次迭代中，模型预测置信度最低的类别，将其作为负向伪标签，并从后续预测中排除该类别。
• 通过负向学习更新分类器，该方法通过迭代优化增强对负向和正向预测的置信度。
• 在逐轮排除过程中应用最小熵损失，以提升正向和负向标签预测的置信度。
• 采用拒绝选项策略（δ = 0.2），舍弃未达到高置信度的样本，确保仅使用可靠伪标签。
• 当所有负向标签被排除后，正向伪标签被隐式获得，从而扩充小规模标注支持集。

实验结果

研究问题

• RQ1 通过聚焦于负向类别，采用简单间接的伪标签生成方法，是否能在标签有限的少样本学习中实现更优性能？
• RQ2 逐轮排除低置信度类别如何提升半监督少样本学习中伪标签的可靠性与置信度？
• RQ3 在标签稀缺场景下，结合置信度正则化的负向学习在多大程度上优于传统正向伪标签策略？
• RQ4 拒绝选项策略如何影响最终支持集中伪标签数据的平衡性与质量？
• RQ5 在少样本学习中，伪标签分布的均衡性对分类器泛化能力有何影响？

主要发现

• MUSIC在四个基准数据集（miniImageNet、tieredImageNet、CIFAR-FS和CUB）上达到最先进性能，其中在miniImageNet的5-way-5-shot设置下错误率低至9.09%。
• 负向伪标签错误率在所有迭代中均低于6.7%，表明排除过程具有高度可靠性。
• 正向伪标签错误率显著低于SOTA方法——在miniImageNet上仅为9.09%，在CUB上为11.91%，而ICI与iLPC分别为24.72%与29.03%。
• 由于拒绝选项，仅约78–80%的无标签样本被标记，但保持了高置信度与高准确率，表明采样策略保守但高效。
• t-SNE可视化结果表明，MUSIC生成的正向伪标签比ICI与iLPC更集中且更具判别性，支持更好的泛化能力。
• 伪标签在各类间分布近乎均衡，每类平均拥有40.1–41.1个正向伪标签，表明数据分布均衡，有利于稳健的分类器学习。