[论文解读] Dynamic Few-Shot Visual Learning without Forgetting

Spyros Gidaris, Nikos Komodakis|arXiv (Cornell University)|Apr 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 23被引用 72

一句话总结

本文提出一个动态少样本学习系统，在测试时能从少量示例快速学习新类别，同时保持基类的准确性，使用一个余弦相似度分类器和一个基于注意力的少样本权重生成器。它在 Mini-ImageNet 和 Bharath & Girshick 少样本基准上实现了前沿结果。

ABSTRACT

The human visual system has the remarkably ability to be able to effortlessly learn novel concepts from only a few examples. Mimicking the same behavior on machine learning vision systems is an interesting and very challenging research problem with many practical advantages on real world vision applications. In this context, the goal of our work is to devise a few-shot visual learning system that during test time it will be able to efficiently learn novel categories from only a few training data while at the same time it will not forget the initial categories on which it was trained (here called base categories). To achieve that goal we propose (a) to extend an object recognition system with an attention based few-shot classification weight generator, and (b) to redesign the classifier of a ConvNet model as the cosine similarity function between feature representations and classification weight vectors. The latter, apart from unifying the recognition of both novel and base categories, it also leads to feature representations that generalize better on "unseen" categories. We extensively evaluate our approach on Mini-ImageNet where we manage to improve the prior state-of-the-art on few-shot recognition (i.e., we achieve 56.20% and 73.00% on the 1-shot and 5-shot settings respectively) while at the same time we do not sacrifice any accuracy on the base categories, which is a characteristic that most prior approaches lack. Finally, we apply our approach on the recently introduced few-shot benchmark of Bharath and Girshick [4] where we also achieve state-of-the-art results. The code and models of our paper will be published on: https://github.com/gidariss/FewShotWithoutForgetting

研究动机与目标

• 动机并形式化在不忘记基类的情况下进行动态少样本学习的问题。
• 开发一个通过注意力利用以往视觉知识的少样本分类权重生成器。
• 将分类器重新表述为余弦相似性以统一基类和新类别的识别。
• 在 Mini-ImageNet 和一个当代的少样本基准上评估该方法，达到最先进的结果。

提出的方法

• 引入基于 Cosine-similarity 的 ConvNet 分类器以统一基类和新类别。
• 实现一个少样本分类权重生成器，使用特征平均和对基类权重的注意力。
• 整合一个注意力机制，从基类别向量中组合新类别权重。
• 分两阶段训练：(i) 学习特征提取器和基权重；(ii) 训练权重生成器，同时冻结特征提取器。
• 在最后一个特征层之后移除 ReLU，以允许 z 取负值并改进基于余弦的分类。
• 使用一个带余弦相似度的注意力核以及一个可学习的尺度来查询基类别权重的记忆。

实验结果

研究问题

• RQ1 一个少样本模型能否在测试时动态地引入新类别而不降低基类别的性能？
• RQ2 在少样本设定中，余弦相似度分类器是否比点积分类器对未见类别有更好的泛化？
• RQ3 一个基于注意力的权重生成器是否能够有效地从基类别向量组成新类别的分类权重？
• RQ4 将基类别和新类别识别统一是否会提升在标准少样本基准上的整体性能？

主要发现

模型	新类别（5-shot）	基类（5-shot）	两者（5-shot）	新类别（1-shot）	基类（1-shot）	两者（1-shot）
Matching-Nets [26]	68.87	-	-	55.53	-	-
Prototypical-Nets [23]	72.67	62.10	32.70	54.44	52.35	26.68
Cosine Classifier	72.83	70.68	51.89	54.55	70.68	39.17
Cosine Classifier & Avg. Weight Gen	74.66	70.92	60.26	55.33	70.45	48.56
Cosine Classifier & Att. Weight Gen	74.92	70.88	60.50	58.55	70.73	50.50

• 在 Mini-ImageNet 上，带注意力权重生成的余弦分类器在验证集的 1-shot/5-shot 评估设置中，Novel(5-shot) 达到 74.92%，Base(5-shot) 达到 70.88%，Both(5-shot) 为 60.50%，领先于先前方法。
• 带平均权重生成的余弦分类器也取得了强劲结果(74.66% novel, 70.92% base, 60.26% both 在 5-shot；55.33% novel, 70.45% base, 48.56% both 在 1-shot)。
• 基于余弦相似度的分类器相较于点积基线，能为未见类别产生更紧凑、具有辨识性的特征簇。
• 在 Mini-ImageNet 测试集上评估时，所提出的具有不同骨干网络（如 ResNet、Conv4 变体）的模型，在 5-shot 和 1-shot 任务中实现了竞争力甚至优越的性能，同时保持强的基类别准确性。
• 该方法在 Bharath 和 Girshick 的少样本基准测试中实现了最先进的结果。