[论文解读] Finding Task-Relevant Features for Few-Shot Learning by Category Traversal

Hongyang Li, David Eigen+3 more|arXiv (Cornell University)|May 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用 96

一句话总结

本文提出一个 Category Traversal Module (CTM)，它跨越所有支持类来识别与任务相关的特征维度，在 miniImageNet 和 tieredImageNet 上基于度量的少样本学习性能提升约 5–10%。CTM 即插即用并提升若干基线。

ABSTRACT

Few-shot learning is an important area of research. Conceptually, humans are readily able to understand new concepts given just a few examples, while in more pragmatic terms, limited-example training situations are common in practice. Recent effective approaches to few-shot learning employ a metric-learning framework to learn a feature similarity comparison between a query (test) example, and the few support (training) examples. However, these approaches treat each support class independently from one another, never looking at the entire task as a whole. Because of this, they are constrained to use a single set of features for all possible test-time tasks, which hinders the ability to distinguish the most relevant dimensions for the task at hand. In this work, we introduce a Category Traversal Module that can be inserted as a plug-and-play module into most metric-learning based few-shot learners. This component traverses across the entire support set at once, identifying task-relevant features based on both intra-class commonality and inter-class uniqueness in the feature space. Incorporating our module improves performance considerably (5%-10% relative) over baseline systems on both mini-ImageNet and tieredImageNet benchmarks, with overall performance competitive with recent state-of-the-art systems.

研究动机与目标

• 在少样本学习中需要考虑任务感知的特征选择，因为支持类被独立对待。
• 开发一个即插即用的模块，利用类内共性和类间独特性来识别任务相关的特征维度。
• 将 CTM 与现有基于度量的少样本学习器集成，以提高嵌入的判别性。
• 通过在标准基准数据集上的广泛消融和对比，证明 CTM 的有效性。

提出的方法

• 引入 CTM，其中包括一个 Concentrator（类内共性）和一个 Projector（类间独特性）。
• Concentrator 降维并聚合类内特征，以产生一个类级嵌入‘o’。
• Projector 跨类聚合以产生一个掩码‘p’，用于选择任务相关的特征维度。
• 将掩码应用于 support 和 query 的嵌入，以获得改进后的特征 I(S) 和 I(Q)。
• 通过用 r(S) ⊙ p 和 r(Q) ⊙ p 来替换相似性，将 CTM 嵌入现有的基于度量的少样本学习器（Matching Net、Prototypical Net、Relation Net）。
• 在 miniImageNet 和 tieredImageNet 的 5-way/1–5-shot 标准 episodic 设置中进行训练和评估。

实验结果

研究问题

• RQ1 跨类别视角的 support 集是否能改善对少样本学习中任务相关特征的识别？
• RQ2 CTM 是否改善现有基于度量的少样本学习器，在不同基准上的提升幅度如何？
• RQ3 CTM 的哪些组件（concentrator、projector）对性能提升是必需的？
• RQ4 CTM 如何影响学习到的特征空间的判别性？

主要发现

• 将 CTM 与现有基于度量的方法结合时，在 miniImageNet 和 tieredImageNet 上可获得约 5–10% 的一致相对提升。
• CTM 在 1-shot 和 5-shot 设置下，对 Matching Net、Prototypical Net 和 Relation Net 的提升达到数个百分点。
• 对更深的骨干网络（ResNet-18）结合 CTM 时，性能显著提升（例如 1-shot miniImageNet 在表 4 中经 CTM 提升到 62.05%）。
• 在消融实验中，去掉 concentrator 或 projector 都会降低性能，证实两者对最佳结果都是必要的。
• CTM 的数据增强版本进一步提升结果（例如 miniImageNet 1-shot 64.12%，tiered 1-shot 68.41% 伴随增强）。
• t-SNE 可视化显示应用 CTM 基于掩蔽后簇更加紧凑且更具判别性。