[论文解读] A Closer Look at Prototype Classifier for Few-shot Image Classification

Mingcheng Hou, Issei Sato|arXiv (Cornell University)|Oct 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用 12

一句话总结

本文提出了一种新颖的理论分析与实用方法，以在无需元学习或微调线性分类器的情况下提升原型分类器在少样本图像分类中的性能。通过推导出一个强调特征范数方差与类内-类间方差比重要性的泛化界，作者表明，仅使用L2归一化即可在miniImageNet和CUB数据集上实现与最先进线性评估基线相当的性能，即使使用标准预训练模型提取的特征亦如此。

ABSTRACT

The prototypical network is a prototype classifier based on meta-learning and is widely used for few-shot learning because it classifies unseen examples by constructing class-specific prototypes without adjusting hyper-parameters during meta-testing. Interestingly, recent research has attracted a lot of attention, showing that training a new linear classifier, which does not use a meta-learning algorithm, performs comparably with the prototypical network. However, the training of a new linear classifier requires the retraining of the classifier every time a new class appears. In this paper, we analyze how a prototype classifier works equally well without training a new linear classifier or meta-learning. We experimentally find that directly using the feature vectors, which is extracted by using standard pre-trained models to construct a prototype classifier in meta-testing, does not perform as well as the prototypical network and training new linear classifiers on the feature vectors of pre-trained models. Thus, we derive a novel generalization bound for a prototypical classifier and show that the transformation of a feature vector can improve the performance of prototype classifiers. We experimentally investigate several normalization methods for minimizing the derived bound and find that the same performance can be obtained by using the L2 normalization and minimizing the ratio of the within-class variance to the between-class variance without training a new classifier or meta-learning.

研究动机与目标

• 理解为何原型分类器在未进行元学习或微调的情况下，即使使用标准预训练模型提取的特征，仍能表现良好。
• 填补对原型分类器在非高斯分布与异方差特征分布下理论理解的空白。
• 开发一种无需元学习或微调线性分类器即可提升原型分类器性能的方法。
• 识别决定原型分类器性能的关键因素——范数方差与类内-类间方差比。
• 在跨域少样本学习基准上验证该方法，证明其在标准训练场景之外的鲁棒性。

提出的方法

• 推导出不假设特征分布为高斯分布或各类协方差矩阵相等的原型分类器的新泛化界。
• 在该界中识别出三个组成部分：特征范数的方差、各类间分布形状的差异，以及类内与类间方差的比值。
• 提出通过最小化范数方差与类内-类间方差比可提升原型分类器性能。
• 对特征向量应用L2归一化以减少范数方差，并通过实证验证其有效性。
• 研究并比较多种归一化与变换技术，包括中心化、L2范数、EST与LDA，以最小化所推导的泛化界。
• 在标准少样本基准（miniImageNet、CUB）上评估该方法，使用ResNet12与ResNet18，与ProtoNet及线性评估基线进行比较。

实验结果

研究问题

• RQ1 为何在使用标准预训练模型提取的特征时，原型分类器的性能仍低于元学习或线性评估基线？
• RQ2 能否在不假设特征分布为高斯分布或各类协方差矩阵相等的条件下，为原型分类器推导出理论泛化界？
• RQ3 哪些特征变换技术最有效地最小化所推导的泛化界并提升原型分类器的准确率？
• RQ4 仅使用L2归一化，无需元学习或分类器微调，是否能达到与最先进线性评估方法相当的性能？
• RQ5 在源域与目标域特征分布不同的跨域少样本学习场景中，所提出方法的表现如何？

主要发现

• 对标准预训练模型（如Baseline、Baseline++）提取的特征进行L2归一化，可在miniImageNet与CUB数据集上实现与线性评估基线相当的性能，且无需元学习或分类器微调。
• 在使用ResNet18的miniImageNet上，所提方法（Baseline++-w/o-linear, L2-norm）在5-shot设置下达到67.21%的准确率，优于ProtoNet（61.79%），并匹配或超过线性评估基线。
• 该方法显著降低了类内-类间方差比与范数方差，而这两者正是所推导泛化界的两个关键组成部分，从而带来性能提升。
• 即使不进行元学习，使用L2归一化特征的原型分类器在CUB数据集上1-shot设置下达到47.65%的准确率，超过ProtoNet的44.01%，并匹配最佳线性评估基线。
• 所提方法在跨域少样本学习中也表现出良好的泛化能力，使用Baseline++提取的L2归一化特征在CUB数据集5-shot设置下达到64.17%的准确率，优于ProtoNet及其他基线。
• 实证结果证实理论分析成立：最小化范数方差与类内-类间方差比可带来在不同模型与数据集上的一致性能提升。