[论文解读] Generating Representative Samples for Few-Shot Classification

Jingyi Xu, Hieu Lê|arXiv (Cornell University)|May 5, 2022

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文提出了一种基于条件变分自编码器（CVAE）的少样本分类代表性样本生成方法，该方法在基础类别中具有类代表性的样本上进行训练。通过多变量高斯建模过滤非代表性样本，并仅在高代表性数据上训练CVAE，该方法生成了更准确的原型，在miniImageNet和tieredImageNet上实现了最先进性能，1-shot准确率最高提升6%。

ABSTRACT

Few-shot learning (FSL) aims to learn new categories with a few visual samples per class. Few-shot class representations are often biased due to data scarcity. To mitigate this issue, we propose to generate visual samples based on semantic embeddings using a conditional variational autoencoder (CVAE) model. We train this CVAE model on base classes and use it to generate features for novel classes. More importantly, we guide this VAE to strictly generate representative samples by removing non-representative samples from the base training set when training the CVAE model. We show that this training scheme enhances the representativeness of the generated samples and therefore, improves the few-shot classification results. Experimental results show that our method improves three FSL baseline methods by substantial margins, achieving state-of-the-art few-shot classification performance on miniImageNet and tieredImageNet datasets for both 1-shot and 5-shot settings. Code is available at: https://github.com/cvlab-stonybrook/fsl-rsvae.

研究动机与目标

• 解决由于支持样本有限导致少样本分类原型中的偏差问题。
• 通过从语义嵌入生成高质量视觉特征，提升原型的代表性。
• 开发一种样本选择策略，过滤非代表性训练样本，以提升VAE训练效果。
• 在多个基准和设置下实现最先进水平的少样本分类性能。

提出的方法

• 在基础类别上训练条件变分自编码器（SVAE），以语义嵌入为条件生成视觉特征。
• 使用多变量高斯建模，基于样本到类别中心的特征距离，估计每个基础类别样本的代表性。
• 过滤低代表性样本（例如，在类别高斯分布下概率较低的样本），形成代表性训练集。
• 仅在选定的代表性样本上训练CVAE，以生成更忠实、与原型对齐的特征。
• 结合少量支持样本和生成特征构建类别原型，提升分类鲁棒性。
• 使用核密度估计和t-SNE可视化分析特征分布及原型与真实值的接近程度。

Figure 1 : Representative Samples. We refer representative samples to the “easy-to-recognize” samples that faithfully reflect the key characteristics of the category. We identify those samples and then use them to train a VAE model for feature generation, conditioned on class-representative semantic

实验结果

研究问题

• RQ1 通过条件变分自编码器生成代表性视觉特征，能否提升少样本分类准确率？
• RQ2 从基础训练集中过滤非代表性样本，是否能提升生成特征的质量和原型估计的准确性？
• RQ3 训练数据的代表性如何影响少样本分类模型的性能？
• RQ4 所提方法能否在不同语义嵌入来源（如CLIP与Word2Vec）之间泛化？
• RQ5 与基线方法相比，生成的原型与真实原型的接近程度如何？

主要发现

• 所提R-SVAE方法在miniImageNet和tieredImageNet上均达到最先进性能，1-shot准确率相比基线方法绝对提升6.1%。
• 仅在基础训练集的10%（最具代表性样本）上训练CVAE时性能最佳，证明了样本过滤的有效性。
• 使用R-SVAE生成的特征后，估计原型与真实原型之间的距离显著减小，证实了原型准确性的提升。
• 该方法在三种不同的FSL基线模型（Meta-Baseline、ProtoNet等）上，代表性提升1–2%，1-shot准确率提升5–6%。
• t-SNE可视化结果表明，R-SVAE生成的特征更接近真实数据分布，且比标准SVAE的特征更紧凑。
• 即使使用Word2Vec嵌入而非CLIP，性能依然强劲，表明方法对语义嵌入来源具有鲁棒性。

Figure 2 : Overview – The key aspect of our approach is to subset our training set to the most representative samples to train a conditional VAE model that generates more representative features. (a) To select representative samples, we assume that the features of each class follow a multivariate Ga