[论文解读] BaseTransformers: Attention over base data-points for One Shot Learning

Mayug Maniparambil, Kevin McGuinness+1 more|arXiv (Cornell University)|Oct 5, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出BaseTransformers，一种新颖的少样本学习方法，通过在基础数据集的特征空间中关注语义相似且表征充分的区域，构建更鲁棒的新类原型，从而提升单样本分类性能。通过在基础数据点上使用交叉注意力机制并利用预训练的低噪声特征，该方法在inductive单样本设置下于mini-ImageNet（70.88%）、tiered-ImageNet（72.46%）和CUB（82.27%）上达到当前最优性能。

ABSTRACT

Few shot classification aims to learn to recognize novel categories using only limited samples per category. Most current few shot methods use a base dataset rich in labeled examples to train an encoder that is used for obtaining representations of support instances for novel classes. Since the test instances are from a distribution different to the base distribution, their feature representations are of poor quality, degrading performance. In this paper we propose to make use of the well-trained feature representations of the base dataset that are closest to each support instance to improve its representation during meta-test time. To this end, we propose BaseTransformers, that attends to the most relevant regions of the base dataset feature space and improves support instance representations. Experiments on three benchmark data sets show that our method works well for several backbones and achieves state-of-the-art results in the inductive one shot setting. Code is available at github.com/mayug/BaseTransformers

研究动机与目标

• 解决因新类别的单一样本表示存在噪声而导致原型估计性能差的问题。
• 通过利用大规模基础数据集中的训练充分、低噪声的特征表示，提升少样本分类性能。
• 通过学习支持样本与语义相似的基础样本之间的局部语义对应关系，实现原型的部分级组合。
• 摒弃对高斯分布或特征全局可迁移性的假设，转而关注局部、空间上有意义的特征对齐。

提出的方法

• BaseTransformers使用交叉注意力机制，其中支持样本的特征图作为查询，语义相似的基础样本的特征作为键和值。
• 该方法在预训练编码器的潜在空间中进行特征空间适应，避免像素空间操作，以实现更优的语义迁移。
• 通过类别标签信息利用语义相似性识别最近似的基础类别，实现对相关基础特征的针对性查询。
• 模型通过元学习端到端训练，联合优化编码器和BaseTransformer，以精炼新类别的原型。
• 预训练使用对比损失（如SimCLR和InfoNCE）以防止监督崩溃，生成鲁棒的基础特征。
• 可视化注意力图以确认模型学习到关注基础图像中语义上有意义的局部区域。

实验结果

研究问题

• RQ1 通过利用基础数据集中表征充分的特征而非依赖单个噪声较大的支持样本，能否改善单样本学习中的原型估计？
• RQ2 学习新支持样本与语义相似的基础样本之间的局部、部件级对应关系，是否能带来更鲁棒的原型表示？
• RQ3 交叉注意力机制能否有效关注并聚合基础特征空间中的相关区域，以组合出更优的新类原型？
• RQ4 查询函数的选择（视觉、语义、最优）如何影响所提方法的性能？
• RQ5 该方法在不同主干网络和少样本基准上的泛化能力如何？

主要发现

• BaseTransformers在mini-ImageNet上达到SOTA性能，1-shot准确率达到70.88%，超越先前方法。
• 在tiered-ImageNet上，该方法在1-shot设置下达到72.46%的准确率，展现出在多样化少样本基准上的强大泛化能力。
• 在CUB数据集上，该方法实现82.27%的1-shot准确率，凸显其在细粒度分类任务中的有效性。
• 消融实验表明，结合SimCLR预训练与语义查询可使性能较基线Prototypical Networks提升近2%。
• 模型性能受限于查询函数，因为使用真实类别原型的最优查询（oracle querying）可使tiered-ImageNet上的准确率提升至76.55%，表明查询策略仍有改进空间。