[论文解读] Exploring Category-correlated Feature for Few-shot Image Classification

Jing Xu, Xinglin Pan+3 more|arXiv (Cornell University)|Dec 14, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种类别相关特征校正器（CCF），这是一种通用的、与主干网络无关的方法，通过利用基础类别之间的类别相关性，校正少样本图像分类中的偏差特征。通过在潜在向量中编码与基础类别的特征相似性，并使用温度控制的解码器，CCF 生成更接近类别中心的代表性特征，在不同主干网络和分类器的基准测试中持续提升准确率。

ABSTRACT

Few-shot classification aims to adapt classifiers to novel classes with a few training samples. However, the insufficiency of training data may cause a biased estimation of feature distribution in a certain class. To alleviate this problem, we present a simple yet effective feature rectification method by exploring the category correlation between novel and base classes as the prior knowledge. We explicitly capture such correlation by mapping features into a latent vector with dimension matching the number of base classes, treating it as the logarithm probability of the feature over base classes. Based on this latent vector, the rectified feature is directly constructed by a decoder, which we expect maintaining category-related information while removing other stochastic factors, and consequently being closer to its class centroid. Furthermore, by changing the temperature value in softmax, we can re-balance the feature rectification and reconstruction for better performance. Our method is generic, flexible and agnostic to any feature extractor and classifier, readily to be embedded into existing FSL approaches. Experiments verify that our method is capable of rectifying biased features, especially when the feature is far from the class centroid. The proposed approach consistently obtains considerable performance gains on three widely used benchmarks, evaluated with different backbones and classifiers. The code will be made public.

研究动机与目标

• 解决少样本学习中因训练样本不足导致的特征分布偏差问题。
• 利用基础类别中尚未被充分利用的知识作为先验信息，用于新类别的特征校正。
• 开发一种通用的、与分类器无关的方法，无需修改现有模型即可增强特征的代表性。
• 通过生成更接近类别中心的特征，改善决策边界的估计，尤其在原始特征为异常值时效果更显著。

提出的方法

• CCF 是一种自编码器，其编码器将新图像的特征映射为与基础类别数量相等的潜在向量。
• 该潜在向量被解释为对基础类别的对数概率，编码了类别相关性信息。
• 通过温度调整的 Softmax 对潜在向量施加基础类别分类损失，以鼓励语义一致性。
• 解码器从潜在向量重建出校正后的特征，旨在保留类别相关的信息，同时抑制噪声和异常值。
• 温度超参数用于平衡特征校正与重建保真度，最优值在 1-shot 任务中为 T=0.1，在 5-shot 任务中为 T=0.02。
• 该方法即插即用，兼容任意特征提取器和分类器，可无缝集成到现有少样本学习框架中。

实验结果

研究问题

• RQ1 新类别与基础类别之间的类别相关性能否作为有效先验知识，以减少少样本学习中的特征偏差？
• RQ2 如何在潜在空间中显式建模并利用类别相关性，以生成更具代表性的特征？
• RQ3 在潜在空间中，特征校正与重建保真度之间的最优权衡是什么？
• RQ4 所提出的方法是否能在不同主干网络、分类器和少样本学习算法之间实现良好泛化？
• RQ5 Softmax 中的温度超参数如何影响校正与重建之间的平衡？

主要发现

• CCF 方法在三个基准测试（mini-ImageNet、CUB、Stanford Cars）中均实现了稳定的性能提升，不同主干网络和分类器下的准确率提升范围为 2% 至 9%。
• 在 mini-ImageNet 的 1-shot 和 5-shot 设置下，该方法分别达到 68.88% 和 84.59% 的准确率，1-shot 设置下相比基线提升超过 3%。
• 消融实验表明，结合原始特征与校正后特征可获得最佳性能，其中 CCF 模块带来的增益最大。
• 该方法泛化能力出色：在不同主干网络（ResNet-12、Wide ResNet、DenseNet）和分类器（Softmax、余弦、逻辑回归）上均能提升性能。
• 超参数分析显示，T=0.1 最优用于 1-shot 性能，而 T=0.02 最优用于 5-shot，表明在数据更稀缺时需要更强的校正。
• 可视化结果表明，校正后的特征将异常值更靠近其真实类别中心，证实了该方法有效校正偏差特征分布的能力。