[论文解读] Few-Shot Class-Incremental Learning

Xiaoyu Tao, Xiaopeng Hong+4 more|arXiv (Cornell University)|Apr 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用 16

一句话总结

本文提出 TOPIC，一种少样本类别增量学习框架，利用神经气体（NG）网络保持特征流形的拓扑结构，从而缓解灾难性遗忘，并提升少样本新类别的表征学习能力。该方法通过结合锚点损失（anchor loss）以增强稳定性，以及最小-最大损失（min-max loss）以实现自适应特征空间扩展，在 CIFAR100、miniImageNet 和 CUB200 上实现了最先进性能，且内存开销极低。

ABSTRACT

The ability to incrementally learn new classes is crucial to the development of real-world artificial intelligence systems. In this paper, we focus on a challenging but practical few-shot class-incremental learning (FSCIL) problem. FSCIL requires CNN models to incrementally learn new classes from very few labelled samples, without forgetting the previously learned ones. To address this problem, we represent the knowledge using a neural gas (NG) network, which can learn and preserve the topology of the feature manifold formed by different classes. On this basis, we propose the TOpology-Preserving knowledge InCrementer (TOPIC) framework. TOPIC mitigates the forgetting of the old classes by stabilizing NG's topology and improves the representation learning for few-shot new classes by growing and adapting NG to new training samples. Comprehensive experimental results demonstrate that our proposed method significantly outperforms other state-of-the-art class-incremental learning methods on CIFAR100, miniImageNet, and CUB200 datasets.

研究动机与目标

• 为解决少样本类别增量学习（FSCIL）中的挑战，即模型必须在极少标注样本下学习新类别，同时不遗忘先前学习过的类别。
• 克服知识蒸馏在 FSCIL 中的局限性，后者在类别不平衡以及新旧类别性能权衡方面表现不佳。
• 开发一种拓扑保持的知识表征机制，以稳定学习到的特征，并提升少样本类别的泛化能力。
• 设计一种可扩展且高效的框架，在增量学习会话中保持高准确率，且内存开销极小。

提出的方法

• 该框架使用神经气体（NG）网络来建模 CNN 嵌入空间中特征流形的拓扑结构，将知识表示为一组自适应节点。
• 锚点损失（AL）通过保持旧类别特征的相对空间关系来稳定 NG 拓扑结构，从而减少灾难性遗忘。
• 最小-最大损失（MML）通过将新类别样本推向正确的 NG 节点，同时拉远不同类别节点之间的距离，来增强表征学习。
• NG 网络通过在每个学习会话中增加新节点来实现增量式增长，以适应新类别特征。
• 该方法将基于 NG 的知识表征与标准 CNN 主干网络相结合，支持端到端训练，并联合优化分类与拓扑保持目标。
• 该框架避免依赖任务标识符和样本存储，而是使用 NG 节点作为动态、拓扑感知的记忆结构。

实验结果

研究问题

• RQ1 一种拓扑保持的知识表征机制是否能有效减少少样本类别增量学习中的灾难性遗忘？
• RQ2 与传统的基于样本的知识蒸馏相比，基于神经气体的特征表征在准确率和内存效率方面表现如何？
• RQ3 最小-最大损失在提升少样本新类别表征学习能力的同时，对旧类别性能的维持程度如何？
• RQ4 所提出的框架是否能泛化到少样本设置之外，在完整样本训练数据下也表现良好？
• RQ5 锚点损失与最小-最大损失在 FSCIL 整体性能中的相对贡献分别是什么？

主要发现

• TOPIC 在 CIFAR100、miniImageNet 和 CUB200 上均优于当前最先进的一致学习（CIL）方法，当结合锚点损失与最小-最大损失时，准确率最高提升 5.85%。
• 结合特征重加权的锚点损失（AL）相比其简化版本（无重加权矩阵 Λ）准确率高出 1.49%。
• 最小-最大损失（MML）相较于仅使用锚点损失的基线设置，性能最高提升 5.85%，证明其在增强少样本表征学习方面的有效性。
• 使用 NG 节点进行知识表征始终优于基于样本的方法，尤其在低内存预算下表现更优，小内存设置下准确率差距更大。
• 仅使用蒸馏损失会降低 FSCIL 的性能，表明在新样本极少时，知识蒸馏在平衡新旧类别性能方面效果较差。
• TOPIC 在所有类别上均保持高分类准确率，如混淆矩阵所示，激活值集中于对角线，表明遗忘和过拟合现象极小。