[论文解读] Instance Credibility Inference for Few-Shot Learning

Yikai Wang, Chengming Xu+3 more|arXiv (Cornell University)|Mar 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 56被引用 9

一句话总结

本文提出实例可信度推理（ICI），一种简单而有效的少样本学习统计方法，通过基于稀疏性的可信度评分，迭代选择未标记数据中最具可信度的伪标签实例。通过使用逐步扩展的高可信度训练集重新训练线性分类器，ICI在四个主流少样本学习基准（miniImageNet、tieredImageNet、CIFAR-FS 和 CUB）上实现了最先进性能。

ABSTRACT

Few-shot learning (FSL) aims to recognize new objects with extremely limited training data for each category. Previous efforts are made by either leveraging meta-learning paradigm or novel principles in data augmentation to alleviate this extremely data-scarce problem. In contrast, this paper presents a simple statistical approach, dubbed Instance Credibility Inference (ICI) to exploit the distribution support of unlabeled instances for few-shot learning. Specifically, we first train a linear classifier with the labeled few-shot examples and use it to infer the pseudo-labels for the unlabeled data. To measure the credibility of each pseudo-labeled instance, we then propose to solve another linear regression hypothesis by increasing the sparsity of the incidental parameters and rank the pseudo-labeled instances with their sparsity degree. We select the most trustworthy pseudo-labeled instances alongside the labeled examples to re-train the linear classifier. This process is iterated until all the unlabeled samples are included in the expanded training set, i.e. the pseudo-label is converged for unlabeled data pool. Extensive experiments under two few-shot settings show that our simple approach can establish new state-of-the-arts on four widely used few-shot learning benchmark datasets including miniImageNet, tieredImageNet, CIFAR-FS, and CUB. Our code is available at: https://github.com/Yikai-Wang/ICI-FSL

研究动机与目标

• 通过利用未标记数据提升模型泛化能力，以应对少样本学习中的数据稀缺挑战。
• 开发一种可靠方法，从未标记数据中识别并选择高可信度的伪标签实例，以避免噪声引起的性能退化。
• 在不依赖复杂元学习或数据增强策略的前提下，提升少样本学习性能。
• 建立一个稳健的迭代框架，逐步以可信的未标记样本扩展训练集。

提出的方法

• 在少量标记的支持集样本上训练初始线性分类器（例如，逻辑回归）。
• 使用训练好的分类器为所有未标记实例预测伪标签。
• 应用线性回归假设，将特征映射到伪标签，通过增加偶然参数的稀疏性来衡量可信度。
• 根据其稀疏度对所有伪标签实例进行排序，该稀疏度即作为可信度评分。
• 按类别选择每个类中可信度最高的k个伪标签实例，并在扩展的支持集上重新训练分类器。
• 重复该过程，直至所有未标记实例均被包含且伪标签收敛。

实验结果

研究问题

• RQ1 简单的统计方法是否能在少样本学习中超越复杂的元学习或数据增强方法？
• RQ2 如何可靠地从未标记数据中识别并选择最具可信度的伪标签实例，以避免噪声累积？
• RQ3 与单步选择相比，迭代选择高可信度实例是否能带来更好的模型收敛性和性能？
• RQ4 该方法对初始分类器质量及特征空间维度的敏感性如何？
• RQ5 该方法在不同降维技术与特征空间下是否具有鲁棒性？

主要发现

• ICI在四个广泛使用的少样本学习基准（miniImageNet、tieredImageNet、CIFAR-FS 和 CUB）上实现了新的最先进性能。
• 在5类1-shot的miniImageNet上，当降维至d=5时，ICI达到66.80%的准确率，优于所有基线方法。
• 迭代选择策略（例如，ICI(3)经过两次迭代）显著优于单步选择（例如，ICI(8)），通过减少噪声并改善收敛性。
• ICI对初始分类器准确率较低具有鲁棒性，即使初始准确率仅为30-40%，仍能观察到性能提升。
• 该方法在多种降维技术下表现稳健，其中PCA和Isomap表现最佳，而MDS表现明显较差。
• 特征空间降维的最优维度为d=5，此时基于可信度的稀疏性排序达到峰值性能。