[论文解读] Finding Significant Features for Few-Shot Learning using Dimensionality Reduction

Mauricio Méndez-Ruiz, Iván García+2 more|arXiv (Cornell University)|Jul 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 25被引用 1

一句话总结

该论文提出了一种新颖的ICNN模块，通过使用降维和类间/类内最近邻得分来识别少样本学习中的任务相关特征。通过在度量学习之前选择最具判别性的特征，该方法在miniImageNet数据集上相比基线模型将准确率提升了约2%，尤其在5类1-shot设置下表现更优。

ABSTRACT

Few-shot learning is a relatively new technique that specializes in problems where we have little amounts of data. The goal of these methods is to classify categories that have not been seen before with just a handful of samples. Recent approaches, such as metric learning, adopt the meta-learning strategy in which we have episodic tasks conformed by support (training) data and query (test) data. Metric learning methods have demonstrated that simple models can achieve good performance by learning a similarity function to compare the support and the query data. However, the feature space learned by a given metric learning approach may not exploit the information given by a specific few-shot task. In this work, we explore the use of dimension reduction techniques as a way to find task-significant features helping to make better predictions. We measure the performance of the reduced features by assigning a score based on the intra-class and inter-class distance, and selecting a feature reduction method in which instances of different classes are far away and instances of the same class are close. This module helps to improve the accuracy performance by allowing the similarity function, given by the metric learning method, to have more discriminative features for the classification. Our method outperforms the metric learning baselines in the miniImageNet dataset by around 2% in accuracy performance.

研究动机与目标

• 通过识别与给定任务最相关的特征，解决少样本学习中数据有限的挑战。
• 通过聚焦于判别性特征而非全维嵌入，提升度量学习性能。
• 克服标准度量学习方法无法充分利用任务特定特征相关性的局限性。
• 开发一个通用模块，可与多种度量学习框架兼容，以增强少样本分类的特征表示。

提出的方法

• 对特征提取器生成的支持集嵌入应用多种降维技术（PCA、Isomap、UMAP）。
• 基于类间和类内最近邻距离计算ICNN得分，以评估特征降维的质量。
• 针对每个小样本任务，使用ICNN得分选择表现最佳的降维方法。
• 在度量学习推理前，对支持集和查询集嵌入应用所选的降维方法。
• 将ICNN模块作为即插即用模块集成到现有度量学习模型（如原型网络）中。
• 使用从miniImageNet中随机采样任务的小样本训练策略，以优化特征选择过程。

实验结果

研究问题

• RQ1 降维技术能否通过识别任务相关特征来提升少样本分类性能？
• RQ2 基于类间与类内距离的评分机制与标准特征表示相比，在少样本学习中表现如何？
• RQ3 通过ICNN选择任务特定特征是否能提升低样本场景下的泛化能力和鲁棒性？
• RQ4 在不同少样本设置下，该方法与最先进模型相比，在准确率和稳定性方面表现如何？

主要发现

• ICNN模块在miniImageNet的5类1-shot设置下，将原型网络的准确率提升了约2%。
• 使用ResNet-12作为主干网络时，5类1-shot测试准确率达到63.81% ± 0.71，5类5-shot达到78.14% ± 0.50。
• 在降维过程中同时使用支持集和查询集数据，相比仅使用支持集数据，ICNN得分显著更高。
• ICNN模块在准确率分布的所有四分位数中均提升了性能，尤其在第一和第四四分位数中增益明显，表明鲁棒性增强。
• 该方法优于标准度量学习基线模型（如Matching Networks、Relation Networks）以及最先进模型如K-tuplet Nets和Principal Characteristic Nets。
• 表现最佳的特征降维技术为PCA、Isomap和UMAP，而更复杂的模型因原型估计不佳导致性能下降。