[论文解读] Matching Feature Sets for Few-Shot Image Classification

Arman Afrasiyabi, Hugo Larochelle+2 more|arXiv (Cornell University)|Apr 2, 2022

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

本文提出 SetFeat，一种少样本图像分类方法，通过使用轻量级自注意力模块（映射器）插入现有主干网络，在不显著增加参数量的前提下，将图像表示为特征向量集合而非单一向量。通过应用集合到集合的匹配度量，SetFeat 在极小参数增量下实现最先进性能，在 miniImageNet、tieredImageNet 和 CUB 数据集上的 1-shot 准确率相比之前方法最高提升 1.83%。

ABSTRACT

In image classification, it is common practice to train deep networks to extract a single feature vector per input image. Few-shot classification methods also mostly follow this trend. In this work, we depart from this established direction and instead propose to extract sets of feature vectors for each image. We argue that a set-based representation intrinsically builds a richer representation of images from the base classes, which can subsequently better transfer to the few-shot classes. To do so, we propose to adapt existing feature extractors to instead produce sets of feature vectors from images. Our approach, dubbed SetFeat, embeds shallow self-attention mechanisms inside existing encoder architectures. The attention modules are lightweight, and as such our method results in encoders that have approximately the same number of parameters as their original versions. During training and inference, a set-to-set matching metric is used to perform image classification. The effectiveness of our proposed architecture and metrics is demonstrated via thorough experiments on standard few-shot datasets -- namely miniImageNet, tieredImageNet, and CUB -- in both the 1- and 5-shot scenarios. In all cases but one, our method outperforms the state-of-the-art.

研究动机与目标

• 通过用特征向量集合替代单一特征向量，实现更丰富、更具迁移性的表示，以提升少样本图像分类性能。
• 开发一种方法，使现有深度主干网络能够无需显著增加模型大小即可为每张图像提取多个特征向量。
• 设计有效的集合到集合距离度量，使其在少样本场景下优于传统的中心点匹配方法。
• 在不同领域上展示泛化能力，包括零样本和跨数据集的少样本迁移。

提出的方法

• 在现有编码器架构（如 Conv4-64、ResNet12）的多个尺度上集成轻量级自注意力模块（映射器），以生成特征向量集合。
• 在每个映射器处使用分类损失进行网络预训练，随后采用类似原型网络的元学习方式执行元训练。
• 采用集合到集合的匹配度量——特别是 sum-min、Hausdorff 及其他方法——将查询图像与新类别的支持集进行比较。
• 采用两阶段训练流程：首先在每个映射器处使用交叉熵损失进行标准迁移学习，然后使用基于集合的分类进行元学习。
• 通过将全局池化层替换为基于映射器的特征集合提取方式，适配三种主干网络（Conv4-64、Conv4-256、ResNet12）。
• 应用梯度显著性与 t-SNE 可视化分析不同映射器如何关注图像的不同区域，并在潜在空间中学习到结构化的类别表示。

Figure 1 : The schematic overview of the proposed set-feature extractor (SetFeat) and detail of a single attention-based mapper: (a) given an input $\mathbf{x}$ , SetFeat first extracts (convolutional) feature vectors $\mathbf{z}_{b}$ at each of its blocks, while at each block attention-based mapper

实验结果

研究问题

• RQ1 与单一向量表示相比，将图像表示为特征向量集合是否能提升少样本泛化能力？
• RQ2 在现有主干网络中插入轻量级自注意力模块是否能在不增加模型大小的前提下增强特征多样性与迁移性？
• RQ3 在少样本分类中，集合到集合的匹配度量是否能优于传统的中心点匹配方法？
• RQ4 该方法在不同领域间的泛化能力如何，例如从 miniImageNet 到 CUB？
• RQ5 各个独立的映射器是否学习到关注图像不同区域，并在潜在空间中保持类别结构？

主要发现

• SetFeat 在 miniImageNet、tieredImageNet 和 CUB 数据集的 1-shot 和 5-shot 设置下均达到最先进性能，在几乎所有情况下均优于之前方法。
• 在 miniImageNet 上，使用 sum-min 度量的 SetFeat12 在 5-shot 5-way 分类中达到 82.71% 的准确率，超过之前最先进方法（MixtFSL 的 82.04%）0.67%。
• 在 1-shot 5-way 分类中，SetFeat12 在 CUB 上相比基线提升 1.83%，在 tieredImageNet 上提升 1.42%，在 miniImageNet 上提升 1.83%。
• 该方法保持了模型效率：SetFeat12 仅含 12.349M 参数，接近 ResNet12 的 12.424M，参数增长极小。
• 跨领域评估显示，SetFeat12 ∗ 在 miniImageNet 上预训练后于 CUB 上达到 67.85% 准确率，排名第二，仅落后于最佳方法（MixtFSL）0.92%。
• 消融研究证实，sum-min 度量在所有集合到集合度量中表现最优，1-shot 设置下在 miniImageNet 上提升 1.11%，在 CUB 上提升 1.89%。

Figure 2 : Illustration of 1-shot image classification using (a) three existing methods and (b) our approach with the sum-min metric. (a) Given a query and support, existing methods either directly match the query to support (ProtoNet (PN) [ 50 ] ), apply a single embedding function over both suppor