[论文解读] Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions

Han-Jia Ye, Hexiang Hu+2 more|arXiv (Cornell University)|Dec 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 63被引用 81

一句话总结

论文提出通过集合到集合函数进行任务特定嵌入自适应，以少样本学习，使用 Transformer-based FEAT 作为最终模型，在若干基准和扩展设置中达到 state-of-the-art。

ABSTRACT

Learning with limited data is a key challenge for visual recognition. Many few-shot learning methods address this challenge by learning an instance embedding function from seen classes and apply the function to instances from unseen classes with limited labels. This style of transfer learning is task-agnostic: the embedding function is not learned optimally discriminative with respect to the unseen classes, where discerning among them leads to the target task. In this paper, we propose a novel approach to adapt the instance embeddings to the target classification task with a set-to-set function, yielding embeddings that are task-specific and are discriminative. We empirically investigated various instantiations of such set-to-set functions and observed the Transformer is most effective -- as it naturally satisfies key properties of our desired model. We denote this model as FEAT (few-shot embedding adaptation w/ Transformer) and validate it on both the standard few-shot classification benchmark and four extended few-shot learning settings with essential use cases, i.e., cross-domain, transductive, generalized few-shot learning, and low-shot learning. It archived consistent improvements over baseline models as well as previous methods and established the new state-of-the-art results on two benchmarks.

研究动机与目标

• 激发在少样本学习中任务无关嵌入的局限性，即未见任务需要不同的判别特征。
• 提出一种基于模型的嵌入自适应，通过集合到集合的函数将嵌入针对每个目标任务进行定制。
• 证明基于 Transformer 的自适应（FEAT）在标准和扩展 FSL 设置中优于其他实现和基线。
• 提供跨任务的插值/外推分析，并展示 FEAT 的参数效率。

提出的方法

• 引入一个集合到集合变换 T，它从任务中的所有训练实例的原始嵌入 phi_x 输出自适应嵌入 psi_x（对排列不变）。
• 用多种架构（Bi-LSTM、DeepSets、GCN、Transformer）实例化 T，并比较它们在任务自适应方面的有效性。
• 在少样本任务中，使用经过自适应的嵌入 psi_x 与测试嵌入 phi_x 进行最近邻分类。
• 应用对比学习目标，使自适应嵌入与类别中心对齐，并在保持与其他类别的分离的同时促进同类内的紧凑性。
• 在已见类别上对主干网络进行额外的分类阶段预训练，并通过合成的 N-shot 任务进行元学习微调。
• 在 Mini/ImageNet 和 Tiered ImageNet 上对 FEAT（基于 Transformer 的 T）与基线方法进行经验评估，包括跨域、传导式 FSL 和通用 FSL 设置。

实验结果

研究问题

• RQ1 任务特定嵌入自适应是否能提升少样本学习在相对于任务无关嵌入的表现？
• RQ2 哪种集合到集合的实例化在给定目标任务中最有效地对嵌入进行上下文化？
• RQ3 相比其他方法，基于 Transformer 的自适应是否在性能、排列不变性以及插值/外推能力方面具有优势？
• RQ4 FEAT 在扩展的 FSL 设置下的表现如何，例如跨域泛化、传导式 FSL 和通用 FSL？
• RQ5 在实现强有力的经验增益的同时，是否具备参数高效性？

主要发现

• FEAT（基于 Transformer 的集合到集合自适应）在标准 FSL 基准测试中持续优于 ProtoNet 及其他嵌入自适应变体。
• FEAT 在 Mini ImageNet 上实现了最先进的结果，并在 Tiered ImageNet 上在 ResNet 主干网络下显示出强劲且持续的提升。
• 在各种实例化中，BiLSTM 因缺乏排列不变性通常表现不佳，而 DeepSets 和 GCN 能提供帮助，但不如 FEAT 一致有效。
• FEAT 展现出在不同类别数（ways）下的强插值与外推能力，并保持较高的参数效率。
• 在扩展任务中，FEAT 在少样本领域泛化、传导式 FSL 和通用 FSL 设置中优于基线。