[论文解读] Learning Embedding Adaptation for Few-Shot Learning

Han-Jia Ye, Hexiang Hu+2 more|arXiv (Cornell University)|Dec 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 44被引用 72

一句话总结

该论文提出 FEAT，一种新颖的 few-shot 学习框架，通过基于 Transformer 的集合到集合函数，将实例嵌入适配到目标分类任务，实现任务特定且具有判别性的表征。FEAT 在标准和扩展的 few-shot 学习基准上均达到最先进性能，涵盖跨域、归纳、泛化和低样本设置。

ABSTRACT

Learning with limited data is a key challenge for visual recognition. Many few-shot learning methods address this challenge by learning an instance embedding function from seen classes and apply the function to instances from unseen classes with limited labels. This style of transfer learning is task-agnostic: the embedding function is not learned optimally discriminative with respect to the unseen classes, where discerning among them leads to the target task. In this paper, we propose a novel approach to adapt the instance embeddings to the target classification task with a set-to-set function, yielding embeddings that are task-specific and are discriminative. We empirically investigated various instantiations of such set-to-set functions and observed the Transformer is most effective -- as it naturally satisfies key properties of our desired model. We denote this model as FEAT (few-shot embedding adaptation w/ Transformer) and validate it on both the standard few-shot classification benchmark and four extended few-shot learning settings with essential use cases, i.e., cross-domain, transductive, generalized few-shot learning, and low-shot learning. It archived consistent improvements over baseline models as well as previous methods and established the new state-of-the-art results on two benchmarks.

研究动机与目标

• 为解决 few-shot 学习中任务无关嵌入函数的局限性，这些函数未针对未见类别上的判别性能进行优化。
• 开发一种方法，将预训练的实例嵌入适配为更适用于特定目标分类任务的判别性表征。
• 探索有效的集合到集合函数用于嵌入适配，并识别最适合此任务的架构。
• 在标准和扩展的 few-shot 学习设置下验证所提方法，包括跨域、归纳、泛化和低样本学习。
• 在 few-shot 分类基准数据集上建立新的最先进性能。

提出的方法

• 该方法引入一种集合到集合函数，将支持集嵌入转换为任务特定的判别性表征。
• 选择 Transformer 架构作为集合到集合函数，因其具备建模长距离依赖关系和嵌入间关系归纳偏置的内在能力。
• 模型端到端训练，以适配嵌入空间，使未见类别的嵌入在分类任务中更具可分性。
• 适配过程在推理阶段执行，使该方法具有灵活性，并可适用于多种 few-shot 学习场景。
• 该框架在标准 few-shot 分类和四种扩展设置上进行评估，展现出鲁棒性和泛化能力。
• 最终模型命名为 FEAT（Few-shot Embedding Adaptation with Transformer），将嵌入适配模块集成到标准 few-shot 学习流程中。

实验结果

研究问题

• RQ1 集合到集合函数能否有效适配预训练的实例嵌入，以提升在未见类别上的判别性能？
• RQ2 在建模支持样本之间的关系和上下文信息方面，哪种架构对集合到集合适配函数最为有效？
• RQ3 所提出的适配机制是否能在多样化的 few-shot 学习设置中泛化，包括跨域、归纳、泛化和低样本学习？
• RQ4 该方法能否在标准和扩展的 few-shot 基准上实现最先进性能？

主要发现

• FEAT 在所有评估的 few-shot 学习基准上均持续优于基线模型和先前的最先进方法。
• 基于 Transformer 的集合到集合函数在判别能力和泛化性能方面优于其他实现方式，如 MLP 和 RNN。
• 该方法在两个主要 few-shot 学习基准上建立了新的最先进结果，展示了在标准和扩展设置下的卓越性能。
• 适配机制显著提升了在未见类别上的分类准确率，尤其在跨域和低样本学习等挑战性场景中表现突出。