[论文解读] Few-Shot Learning with Metric-Agnostic Conditional Embeddings

Nathan Hilliard, Lawrence Phillips+4 more|arXiv (Cornell University)|Feb 12, 2018

Digital Imaging for Blood Diseases参考文献 3被引用 138

一句话总结

本文提出 MACO，一种对度量无关的少样本分类器，它对查询图像条件化类别表示，在 CUB-200 上实现了最先进的结果，并通过学习灵活的非度量比较机制在其他数据集上也具有竞争力。

ABSTRACT

Learning high quality class representations from few examples is a key problem in metric-learning approaches to few-shot learning. To accomplish this, we introduce a novel architecture where class representations are conditioned for each few-shot trial based on a target image. We also deviate from traditional metric-learning approaches by training a network to perform comparisons between classes rather than relying on a static metric comparison. This allows the network to decide what aspects of each class are important for the comparison at hand. We find that this flexible architecture works well in practice, achieving state-of-the-art performance on the Caltech-UCSD birds fine-grained classification task.

研究动机与目标

• 通过将固定度量空间转向学习的、查询条件化的类别表示，推动少样本泛化的改进。
• 提出一个四阶段架构，使每个类别的嵌入在查询图像上进行条件化，以更好地捕捉与任务相关的属性。
• 证明一个可学习的分类阶段替代固定度量即可在细粒度和通用数据集上实现更优的性能。
• 展示将类别表示条件化在查询图像上能带来可衡量的性能提升。

提出的方法

• 四阶段架构：特征提取、关系阶段、条件化阶段，以及一个可学习的分类器。
• 关系阶段在每个类别内使用成对比较，通过平均化方案产生一个 128-D 的类别嵌入。
• 条件化阶段将类别嵌入与查询向量拼接并进行处理，以生成条件化的 128-D 类向量。
• 分类阶段在类别向量集合上使用可学习的、顺序无关的一维卷积网络，随后是一个 Dense softmax 层。
• 条件网络使用 4 个带批归一化和 ELU 激活的全连接块，带跳跃连接。
• 关系网络 g 由 4 个具有 128-D 隐藏层和一个跳跃连接的块组成；通过对所有成对比较进行求平均以得到类别表示。

实验结果

研究问题

• RQ1 一个度量无关的神经网络输出是否可以在查询图像上进行条件化，以在少样本学习中生成更具任务相关性的类别表示？
• RQ2 条件化是否比非条件化的度量无关设计在少样本性能上有提升？
• RQ3 MACO 方法在细粒度和更广的数据集上与成熟的基线（Matching Networks、Prototypical Networks、Meta-LSTM、MAML）相比如何？

主要发现

数据集	1-shot (MACO)	5-shot (MACO)
Caltech-UCSD Birds (CUB-200)	60.76%	74.96%
Caltech-UCSD Birds (CUB-200) MA w/o cond.	55.86%	69.49%
mini ImageNet	41.09%	58.32%
mini DogsNet	39.10%	54.45%

• MACO 在 Caltech-UCSD Birds (CUB-200) 上实现了 1-shot 和 5-shot 的最先进准确率：60.76%（1-shot）和 74.96%（5-shot）。
• 移除条件化（MA w/o cond.）将性能降至 55.86%（1-shot）和 69.49%（5-shot），表明条件化大约贡献了 5 个百分点。
• 在 mini ImageNet 上，MACO 达到 41.09%（1-shot）和 58.32%（5-shot），与若干基线竞争力强，但在 1-shot 上落后于顶级元学习方法。
• 在 mini DogsNet 上，MACO 达到 39.10%（1-shot）和 54.45%（5-shot），根据 shot 的不同介于 matching networks 与 MAML 之间。
• 该架构表明使用查询条件化类别表示的可学习分类器在细粒度数据集上优于传统基于度量的方法，并在更广的数据集上保持竞争力。