[论文解读] Few-Shot Incremental Learning with Continually Evolved Classifiers

Chi Zhang, Nan Song+4 more|arXiv (Cornell University)|Apr 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用 19

一句话总结

该论文提出了一种少样本增量学习（FSCIL）方法，采用解耦表示-分类器学习策略与基于图的持续演化分类器（CEC）模块。通过冻结主干网络并仅在每个会话中更新分类器，同时利用伪增量学习范式训练CEC的图注意力网络，该方法在CIFAR100上实现了61.33%的平均准确率和23.57%的性能下降率，达到最先进水平，平均准确率相比之前方法最高提升10.80%。

ABSTRACT

Few-shot class-incremental learning (FSCIL) aims to design machine learning algorithms that can continually learn new concepts from a few data points, without forgetting knowledge of old classes. The difficulty lies in that limited data from new classes not only lead to significant overfitting issues but also exacerbate the notorious catastrophic forgetting problems. Moreover, as training data come in sequence in FSCIL, the learned classifier can only provide discriminative information in individual sessions, while FSCIL requires all classes to be involved for evaluation. In this paper, we address the FSCIL problem from two aspects. First, we adopt a simple but effective decoupled learning strategy of representations and classifiers that only the classifiers are updated in each incremental session, which avoids knowledge forgetting in the representations. By doing so, we demonstrate that a pre-trained backbone plus a non-parametric class mean classifier can beat state-of-the-art methods. Second, to make the classifiers learned on individual sessions applicable to all classes, we propose a Continually Evolved Classifier (CEC) that employs a graph model to propagate context information between classifiers for adaptation. To enable the learning of CEC, we design a pseudo incremental learning paradigm that episodically constructs a pseudo incremental learning task to optimize the graph parameters by sampling data from the base dataset. Experiments on three popular benchmark datasets, including CIFAR100, miniImageNet, and Caltech-USCD Birds-200-2011 (CUB200), show that our method significantly outperforms the baselines and sets new state-of-the-art results with remarkable advantages.

研究动机与目标

• 解决由于新类别数据有限而导致的少样本类增量学习中的灾难性遗忘与过拟合问题。
• 实现在持续学习中，各会话训练的分类器能泛化到所有类别，而不仅限于孤立会话中见过的类别。
• 设计一种可训练的自适应机制，利用所有增量会话中的全局任务上下文持续演化分类器。
• 通过引入伪增量学习范式，克服增量学习中顺序数据访问的挑战，实现对自适应模块的端到端训练。

提出的方法

• 将表示学习与分类器学习解耦：在基础类别上预训练主干网络，并在后续会话中固定主干，仅更新分类器。
• 使用非参数化的类别均值分类器作为初始分类器，通过增量方式更新，无需重新训练主干。
• 提出一种持续演化分类器（CEC），利用图注意力网络（GAT）基于所有先前和当前类别的全局上下文自适应调整分类器权重。
• 设计一种伪增量学习范式，通过从基础数据集中分episode地采样基础类与增量类，模拟真实增量学习过程，实现对GAT的端到端训练。
• 通过数据增强（如旋转）合成多样化训练样本，以提升伪训练过程中的泛化能力。
• 采用受元学习启发的优化方案，使每个episode模拟真实的增量学习场景，包含采样类别的过程。

实验结果

研究问题

• RQ1 采用冻结主干仅更新分类器的解耦学习策略，能否有效缓解少样本增量学习中的灾难性遗忘？
• RQ2 如何将仅在孤立会话中训练的分类器适应到持续学习设置中，使其能泛化到所有类别？
• RQ3 基于图的注意力机制能否有效在增量会话间传播上下文知识，从而提升分类器的泛化能力？
• RQ4 在增量学习中无法同时访问全部数据的条件下，是否可行训练一种具备上下文感知能力的分类器自适应模块？

主要发现

• 所提方法在CIFAR100上达到75.85%的平均准确率，相比之前最先进方法平均准确率提升10.80%。
• 在mini-ImageNet上，该方法实现63.5%的平均准确率与23.57%的性能下降率，显著低于基线方法。
• 在CUB200上，该方法实现62.43%的平均准确率与23.57%的性能下降率，相比之前最先进方法提升12.52%。
• 混淆矩阵分析表明，自适应模块减少了预测混淆，尤其在增量类别上，使预测结果更集中于对角线方向。
• t-SNE可视化结果证实，自适应模块将分类器权重从模糊区域移开，为所有类别创造了更清晰的决策边界。
• 消融实验表明，在数据合成过程中使用较大旋转角度（如180°、±90°）可获得最佳性能，在最优伪训练设置下，CIFAR100上的平均准确率为61.33%，性能下降率为23.57%。