[论文解读] DER: Dynamically Expandable Representation for Class Incremental Learning

Shipeng Yan, Jiangwei Xie+1 more|arXiv (Cornell University)|Mar 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用 42

一句话总结

DER 引入了一个动态可扩展的类别增量学习表示，在每一步冻结旧特征并增加一个新的可学习提取器，同时借助辅助损失和通道级剪枝，在内存限制下平衡稳定性与可塑性，在 CIFAR-100 和 ImageNet 的子集上实现了最先进的结果。

ABSTRACT

We address the problem of class incremental learning, which is a core step towards achieving adaptive vision intelligence. In particular, we consider the task setting of incremental learning with limited memory and aim to achieve better stability-plasticity trade-off. To this end, we propose a novel two-stage learning approach that utilizes a dynamically expandable representation for more effective incremental concept modeling. Specifically, at each incremental step, we freeze the previously learned representation and augment it with additional feature dimensions from a new learnable feature extractor. This enables us to integrate new visual concepts with retaining learned knowledge. We dynamically expand the representation according to the complexity of novel concepts by introducing a channel-level mask-based pruning strategy. Moreover, we introduce an auxiliary loss to encourage the model to learn diverse and discriminate features for novel concepts. We conduct extensive experiments on the three class incremental learning benchmarks and our method consistently outperforms other methods with a large margin.

研究动机与目标

• 在有限内存条件下解决类别增量学习中的稳定性-可塑性困境。
• 提出一个两阶段框架，在先前表示冻结的同时在每个增量步骤添加新的特征提取器。
• 通过引入带有剪枝机制的表示动态扩展以保持紧凑性和高效性。

提出的方法

• 维持两阶段学习方案：表示学习和分类器学习。
• 在步骤 t，冻结先前的特征提取器并添加一个新的提取器 Ft，将特征拼接为 [Φt-1(x)，Ft(x)]。
• 对 Ft 使用辅助损失，鼓励新类别的特征多样性和辨别力。
• 对 Ft 应用可微分的通道级掩码剪枝，以使模型容量适应新颖性。
• 使用在内存数据和新数据上的交叉熵损失进行训练，并加上一个辅助分类器以区分旧概念与新概念（ER 损失）。
• 对分类器进行平衡微调，以减轻类别不平衡。

Figure 1 : The average incremental accuracy for different model size. We compare our model with prior methods (WA [ 39 ] , BiC [ 12 ] , RPSNet [ 26 ] , iCaRL [ 27 ] , UCIR [ 12 ] , PODNet [ 6 ] ) and the model trained on all the data (Joint) on the experiment CIFAR100-B0 of 10 steps.

实验结果

研究问题

• RQ1 在有限内存条件下，动态可扩展的表示是否能改善类别增量学习中的稳定性-可塑性权衡？
• RQ2 通过用一个新的、冻结的先验加上一个可学习的提取器来扩展表示，同时结合剪枝和辅助损失，是否比现有方法产生更优的性能？
• RQ3 辅助损失和剪枝对向后/向前转移及整体效率有何影响？
• RQ4 在 CIFAR-100 和 ImageNet 子集上，DER 在标准增量协议下的表现如何？

主要发现

• DER 在 CIFAR-100 与 ImageNet 基准上的多种增量协议下始终优于此前的最先进方法。
• 该方法在最后一步的准确率方面取得显著提升，例如在 CIFAR100-B0，50 步时与强基线相比，最后一步准确率提高了 7.73 个百分点。
• 在 CIFAR-100 实验中，DER 显示出随模型规模增大和步骤增多而更明显的优势，表明对更长的增量序列具有更好的可扩展性。
• 在 ImageNet-100 和 ImageNet-1000 基准上，DER 将平均前五名准确率提高约 1.79 个百分点，在 ImageNet-100-B0 上，最后一步 top-1 准确率提高了 5.15 个百分点，在 ImageNet-100-B50 上提升了 3.02 个百分点。
• 消融研究显示，可扩展表示相对于不扩展基线带来巨大增益（例如 12.0 个百分点以上）；加入辅助损失还能带来额外改进；剪枝在保持紧凑性的同时对性能的损失极小。
• 该方法在各步骤之间展示出正向与向后迁移的知识迁移，表明知识保留和转移有效。

Figure 2 : Dynamically Expandable Representation Learning. At step $t$ , the model is composed of super-feature extractor $\Phi_{t}$ and classifier $\mathcal{H}_{t}$ , where $\Phi_{t}$ is built by expanding the existing super-feature extractor $\Phi_{t-1}^{P}$ with new feature extractor $\mathcal{F}