[论文解读] XtarNet: Learning to Extract Task-Adaptive Representation for Incremental Few-Shot Learning

S.W. Yoon, Do-Yeon Kim+2 more|arXiv (Cornell University)|Mar 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 15被引用 7

一句话总结

XtarNet 提出了一种新颖的增量少样本学习框架，通过结合元学习的新型特征与预训练主干网络特征，学习任务自适应表征（TAR）。通过元训练模块融合这些特征，TAR 提升了基类和新类的分类准确率，在 mini-ImageNet 和 tiered-ImageNet 基准上实现了最先进性能。

ABSTRACT

Learning novel concepts while preserving prior knowledge is a long-standing challenge in machine learning. The challenge gets greater when a novel task is given with only a few labeled examples, a problem known as incremental few-shot learning. We propose XtarNet, which learns to extract task-adaptive representation (TAR) for facilitating incremental few-shot learning. The method utilizes a backbone network pretrained on a set of base categories while also employing additional modules that are meta-trained across episodes. Given a new task, the novel feature extracted from the meta-trained modules is mixed with the base feature obtained from the pretrained model. The process of combining two different features provides TAR and is also controlled by meta-trained modules. The TAR contains effective information for classifying both novel and base categories. The base and novel classifiers quickly adapt to a given task by utilizing the TAR. Experiments on standard image datasets indicate that XtarNet achieves state-of-the-art incremental few-shot learning performance. The concept of TAR can also be used in conjunction with existing incremental few-shot learning methods; extensive simulation results in fact show that applying TAR enhances the known methods significantly.

研究动机与目标

• 为解决增量少样本学习中的灾难性遗忘问题，即模型在仅用少量样本学习新类别时仍需保留对先前学习的基类知识。
• 通过学习整合先验知识与新任务特定特征的任务自适应表征（TAR），提升基类和新类的分类性能。
• 开发一种模块化、即插即用的框架，通过有效的特征融合与元学习条件控制，增强现有增量少样本学习方法。
• 证明任务自适应表征学习能显著提升少样本场景下的聚类质量、置信度与准确率。

提出的方法

• XtarNet 使用预训练主干网络获取基类特征，并通过额外的元学习模块从支持集中提取新型、任务特定的特征。
• 通过基类特征（来自主干网络）与新类特征（来自元模块）的逐元素拼接与自适应加权，构建任务自适应表征（TAR）。
• 元学习的注意力权重（ω_meta）动态控制基类与新类特征的融合，实现任务条件下的表征学习。
• 基类与新类分类器通过输入 TAR 进行快速适应，新类分类器权重由组合特征的每类平均值导出。
• 模型在基于任务的元学习设置下进行训练，每个任务包含来自新类的少样本支持集以及来自基类和新类的查询样本。
• 该框架与现有增量少样本学习方法（如 Imprint、LwoF）兼容，TAR 可作为即插即用模块提升性能。

实验结果

研究问题

• RQ1 元学习的特征融合机制是否能在防止灾难性遗忘的同时提升少样本分类准确率？
• RQ2 与标准少样本基线相比，使用任务自适应表征时，特征空间中的聚类质量如何变化？
• RQ3 TAR 在少样本场景下对推理置信度与标签准确率的提升程度如何？
• RQ4 所提出的 TAR 机制能否与现有增量少样本学习方法有效结合，实现一致的性能增益？

主要发现

• XtarNet 在 mini-ImageNet 和 tiered-ImageNet 基准上均实现了增量少样本学习的最先进性能。
• 与 Imprint 基线相比，所提出的 TAR 机制使基类的平方误差和（SSE）降低 53.6%，新类降低 39.9%。
• 通过最近干扰中心距归一化的 SSE（nSSE）显示，新类误差减少 28.3%，表明类间分离性得到改善。
• 交叉熵损失在基类上减少 66.3%，在新类上减少 81.5%，表明预测更加准确且置信度更高。
• 香农熵在基类上减少 72.1%，在新类上减少 74.2%，证实 TAR 显著提升了预测置信度。
• 该方法在多个基线模型上均一致提升性能，表明 TAR 是增量少样本学习中一种可泛化的增强方法。