[论文解读] Exploiting Unsupervised Inputs for Accurate Few-Shot Classification

Yuqing Hu, Vincent Gripon+1 more|arXiv (Cornell University)|Feb 21, 2020

Domain Adaptation and Few-Shot Learning被引用 22

一句话总结

该论文提出了一种基于图的特征插值方法，用于少样本图像分类，利用预训练特征并从无标签样本中引入归纳信息，而无需训练额外参数。通过从特征嵌入构建相似性图，并应用幂迭代在邻居间传播特征，该方法在miniImageNet和CUB基准上实现了最先进（SOTA）的准确率，优于基于GNN的方法，同时保持了简洁性和高效性。

ABSTRACT

In few-shot classification, the aim is to learn models able to discriminate classes using only a small number of labeled examples. In this context, works have proposed to introduce Graph Neural Networks (GNNs) aiming at exploiting the information contained in other samples treated concurrently, what is commonly referred to as the transductive setting in the literature. These GNNs are trained all together with a backbone feature extractor. In this paper, we propose a new method that relies on graphs only to interpolate feature vectors instead, resulting in a transductive learning setting with no additional parameters to train. Our proposed method thus exploits two levels of information: a) transfer features obtained on generic datasets, b) transductive information obtained from other samples to be classified. Using standard few-shot vision classification datasets, we demonstrate its ability to bring significant gains compared to other works.

研究动机与目标

• 通过利用无标签样本中的归纳信息，解决在标注数据有限情况下的少样本图像分类挑战。
• 克服现有基于GNN的方法引入额外可训练参数所带来的模型复杂性问题。
• 开发一种简单而有效的方法，将迁移学习与基于图的特征传播相结合，以提升低数据场景下的泛化能力。
• 证明基于图的预训练特征插值可显著提升少样本分类性能。
• 分析关键超参数及类别不平衡对模型鲁棒性和性能的影响。

提出的方法

• 在大规模通用数据集上预训练深度神经网络主干网络，以提取可迁移的特征。
• 构建一个相似性图，其中节点代表样本，边权重基于特征向量之间的余弦相似度。
• 使用矩阵 $ (\alpha I + E)^\kappa $ 实现扩散过程，其中 $ E $ 为图邻接矩阵，以在相邻样本间插值特征。
• 仅使用有标签数据，利用插值后的特征训练一个简单的逻辑回归分类器。
• 使用训练好的分类器对无标签样本执行推理，利用图提供的归纳偏置。
• 优化超参数 $ \kappa $、$ \alpha $ 和 $ k $（邻居数量），以平衡平滑性与表征保真度。

实验结果

研究问题

• RQ1 基于图的特征插值是否能在不引入额外可训练参数的情况下提升少样本分类准确率？
• RQ2 超参数 $ \kappa $、$ \alpha $ 和 $ k $ 的选择如何影响方法的性能与鲁棒性？
• RQ3 无标签集中类别不平衡在多大程度上会降低所提出归纳方法的性能？
• RQ4 与最先进基于GNN的少样本学习方法相比，该方法在准确率和效率方面表现如何？
• RQ5 即使特征未完全对齐于类别边界，图结构是否仍能有效捕捉样本间的有意义关系？

主要发现

• 所提方法在miniImageNet和CUB基准上实现了最先进性能，优于现有的基于GNN的方法，在少样本分类准确率上表现更优。
• 当 $ k $ 较小时（例如 $ k=5 $ 或 $ k=10 $）取得最佳性能，表明噪声或距离较远的相似性会损害性能。
• 当 $ k $ 较小时，方法对超参数选择具有鲁棒性，且对 $ \alpha $ 和 $ \kappa $ 的敏感度较低，尤其当 $ \kappa \leq 3 $ 时。
• 当 $ \alpha $ 较小且 $ k $ 较大时，尤其在图较密集时，会出现过度平滑现象，导致性能下降。
• 无标签集中的类别不平衡会显著降低准确率，当每类仅有一个样本时性能最差。
• 可视化结果表明，图中部分类别被良好分离，而另一些类别则相互纠缠，提示主干网络特征中可能包含与任务无关的方差。