[论文解读] A Simple Class Decision Balancing for Incremental Learning.

Hongjoon Ahn, Taesup Moon|arXiv (Cornell University)|Mar 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 20被引用 9

一句话总结

该论文提出SS-IL，一种简单而有效的类别增量学习方法，通过分离的Softmax（SS）层和比例保持（RP）小批量训练，缓解微调过程中分类分数的偏差问题。该方法在无需后处理的情况下，在大规模基准上实现了最先进性能，显著改善了决策平衡性，并相比原始微调方法减少了分数偏差。

ABSTRACT

Class incremental learning (CIL) problem, in which a learning agent continuously learns new classes from incrementally arriving training data batches, has gained much attention recently in AI and computer vision community due to both fundamental and practical perspectives of the problem. For mitigating the main difficulty of deep neural network(DNN)-based CIL, the catastrophic forgetting, recent work showed that a simple fine-tuning (FT) based schemes can outperform the earlier attempts of using knowledge distillation, particularly when a small-sized exemplar-memory for storing samples from the previously learned classes is allowed. The core limitation of the vanilla FT, however, is the severe classification score bias between the new and previously learned classes, and several state-of-the-art methods proposed to rectify the bias via additional post-processing of the scores. In this paper, we propose two simple modifications for the vanilla FT, separated softmax (SS) layer and ratio-preserving (RP) mini-batches for SGD updates. Our scheme, dubbed as SS-IL, is shown to give much more balanced class decisions, have much less biased scores, and outperform strong state-of-the-art baselines on several large-scale benchmark datasets, without any sophisticated post-processing of the scores. We also give several novel analyses our and baseline methods, confirming the effectiveness of our approach in CIL.

研究动机与目标

• 解决原始微调在类别增量学习（CIL）中严重的分类分数偏差问题。
• 消除CIL方法中对分类分数复杂后处理的需求。
• 在持续学习场景中，改善新学习类与先前学习类之间的决策平衡性。
• 通过最少的网络架构和训练修改，在大规模基准上实现最先进性能。

提出的方法

• 引入分离Softmax（SS）层，在推理过程中解耦新类和旧类的分类分数。
• 在SGD更新过程中采用比例保持（RP）小批量，以维持训练步骤中各类别的分布比例一致。
• 通过在标准微调过程中应用SS层，防止新类在分数上占据主导地位。
• 通过在每个小批量中保持旧类和新类样本的相对比例，确保梯度更新的平衡性。
• 使用小样本记忆库存储过往类别的样本，实现稳定学习，避免灾难性遗忘。
• 不采用任何额外的后处理或损失重加权，仅依赖架构和训练方案的修改。

实验结果

研究问题

• RQ1 对Softmax层和小批量采样策略进行简单修改，是否能有效减少类别增量学习中的分类分数偏差？
• RQ2 所提出的SS-IL方法是否在无需复杂预测分数后处理的情况下，优于强基线方法？
• RQ3 与标准微调相比，比例保持小批量策略如何促进更好的决策平衡？
• RQ4 SS-IL方法在保持新旧类别之间性能平衡的同时，能在多大程度上缓解灾难性遗忘？
• RQ5 在增量学习各阶段，该方法在分数校准性和决策一致性方面表现如何？

主要发现

• 所提出的SS-IL方法在多个大规模基准上实现了最先进性能，且无需对分类分数进行任何后处理。
• 与原始微调相比，SS-IL显著减少了新类与先前学习类之间的分类分数偏差。
• 该方法在旧类和新类上均保持高准确率，表明在增量学习各阶段实现了更好的决策平衡性。
• 采用比例保持小批量训练可稳定训练过程，并在优化过程中防止新类主导分数输出。
• 大量消融实验表明，分离Softmax和比例保持采样策略对方法成功至关重要。
• 即使仅进行最少的架构修改，该方法在标准CIL基准上仍优于强基线的最先进方法。