[论文解读] Extended Few-Shot Learning: Exploiting Existing Resources for Novel Tasks

Reza Esfandiarpoor, Amy Pu+2 more|arXiv (Cornell University)|Dec 13, 2020

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出扩展少样本学习（EFSL），一种利用大规模数据集中语义相关的辅助数据来提升少样本图像分类性能的框架。通过知识图谱识别相关‘伪样本’，并利用元学习的掩码模块对这些样本的特征进行筛选与适配，EFSL相较于朴素微调和迁移学习，准确率分别提升4.68和6.03个百分点。

ABSTRACT

In many practical few-shot learning problems, even though labeled examples are scarce, there are abundant auxiliary datasets that potentially contain useful information. We propose the problem of extended few-shot learning to study these scenarios. We then introduce a framework to address the challenges of efficiently selecting and effectively using auxiliary data in few-shot image classification. Given a large auxiliary dataset and a notion of semantic similarity among classes, we automatically select pseudo shots, which are labeled examples from other classes related to the target task. We show that naive approaches, such as (1) modeling these additional examples the same as the target task examples or (2) using them to learn features via transfer learning, only increase accuracy by a modest amount. Instead, we propose a masking module that adjusts the features of auxiliary data to be more similar to those of the target classes. We show that this masking module performs better than naively modeling the support examples and transfer learning by 4.68 and 6.03 percentage points, respectively.

研究动机与目标

• 为解决少样本学习中新型类别标注数据稀缺，但存在大量辅助数据的问题。
• 形式化一种新的学习范式——扩展少样本学习（EFSL），将支持集之外的外部标注数据纳入学习过程。
• 开发一种方法，智能选择语义相关的辅助样本（伪样本），并有效整合到少样本模型中。
• 设计一种掩码模块，适配辅助数据的特征，使其更契合目标任务的表征。
• 提供基准测试，控制目标类别与辅助类别之间的语义距离，以实现对EFSL方法的公平评估。

提出的方法

• 使用知识图谱（如ConceptNet）计算目标类别与辅助类别之间的语义相似度。
• 从与目标类别语义相关的类别中，选择一部分辅助样本——称为‘伪样本’。
• 训练一个元学习的掩码模块，用于识别并强调伪样本中对目标任务最相关的特征。
• 将掩码模块应用于伪样本的特征，使其更契合目标类别嵌入。
• 在不修改网络架构的前提下，将掩码后的伪样本整合到现有的FSL模型（如最近邻中心、关系网络）中。
• 通过元 episodic 机制端到端训练掩码模块，模拟具有不同语义距离的多样化少样本任务。

实验结果

研究问题

• RQ1 如何有效选择与新型少样本分类任务语义相关的辅助数据？
• RQ2 何种机制可自适应地过滤并整合语义距离较远的辅助样本中的噪声或无关特征？
• RQ3 EFSL的性能如何随辅助类别与目标类别之间语义距离的增加而变化？
• RQ4 在使用辅助数据时，所提出的掩码模块是否能超越朴素微调和迁移学习？
• RQ5 该框架在不同FSL模型和基准测试上是否具备良好的泛化能力？

主要发现

• 所提出的掩码模块相较于对伪样本进行朴素建模，使少样本分类准确率提升4.68个百分点。
• 与使用辅助数据进行特征学习的迁移学习相比，掩码模块实现了6.03个百分点的准确率增益。
• 当仅使用辅助数据预训练图像嵌入时，平均准确率提升了5.86个百分点。
• 若朴素地使用伪样本更新目标原型，性能增益平均仅提升4.13个百分点。
• 即使辅助数据与目标类别语义距离较远，该框架仍保持较强的性能，展现出良好的鲁棒性。
• 该方法与多种FSL分类器兼容，包括最近邻中心、关系网络以及嵌入适配方法。