[论文解读] FeTrIL: Feature Translation for Exemplar-Free Class-Incremental Learning

Grégoire Petit, Adrian Popescu+3 more|arXiv (Cornell University)|Nov 23, 2022

Domain Adaptation and Few-Shot Learning参考文献 46被引用 12

一句话总结

FeTrIL 提出了一种新颖的无样本类增量学习方法，通过结合冻结的特征提取器与几何特征迁移机制，为旧类别生成伪特征，在实现更优的稳定性-可塑性平衡的同时，训练速度优于现有方法，并在 TinyImageNet 和 ImageNet-Subset 等多个基准上达到最先进性能。

ABSTRACT

Exemplar-free class-incremental learning is very challenging due to the negative effect of catastrophic forgetting. A balance between stability and plasticity of the incremental process is needed in order to obtain good accuracy for past as well as new classes. Existing exemplar-free class-incremental methods focus either on successive fine tuning of the model, thus favoring plasticity, or on using a feature extractor fixed after the initial incremental state, thus favoring stability. We introduce a method which combines a fixed feature extractor and a pseudo-features generator to improve the stability-plasticity balance. The generator uses a simple yet effective geometric translation of new class features to create representations of past classes, made of pseudo-features. The translation of features only requires the storage of the centroid representations of past classes to produce their pseudo-features. Actual features of new classes and pseudo-features of past classes are fed into a linear classifier which is trained incrementally to discriminate between all classes. The incremental process is much faster with the proposed method compared to mainstream ones which update the entire deep model. Experiments are performed with three challenging datasets, and different incremental settings. A comparison with ten existing methods shows that our method outperforms the others in most cases.

研究动机与目标

• 解决无样本类增量学习（EFCIL）中的灾难性遗忘问题，无需存储旧数据或使用内存密集型回放机制。
• 通过结合冻结的特征提取器与伪特征生成，改善稳定性（保留旧知识）与可塑性（学习新类别）之间的平衡。
• 相比依赖微调深层网络或知识蒸馏的现有 EFCIL 方法，减少训练时间和内存占用。
• 通过最小化存储与计算开销，实现在内存与计算资源受限设备上的实用化部署。

提出的方法

• 在初始训练后冻结深度神经网络主干网络，通过防止灾难性遗忘来确保稳定性。
• 通过几何迁移生成旧类别的伪特征：将新类别的特征在特征空间中朝旧类别中心点方向移动。
• 仅使用每个旧类别的中心点来生成伪特征，存储需求极低（仅需保存类别中心点，而非完整特征）。
• 在新类别的真实特征与旧类别的伪特征上增量训练线性分类器，实现快速的增量更新。
• 采用简单而有效的迁移规则：将新类别特征沿“目标旧类别中心点”与“新类别中心点”之间向量差的方向进行平移。
• 支持在 CPU 上实现快速增量训练（ImageNet-Subset 且 T=10 时仅需 1 小时 4 分钟），显著快于基于 GPU 的基线方法 PASS（11 小时 8 分钟）。

实验结果

研究问题

• RQ1 无原始样本存储的情况下，基于几何特征迁移的机制能否有效生成对旧类别有意义的伪特征？
• RQ2 将冻结的特征提取器与伪特征生成相结合，是否能在 EFCIL 中相比基于蒸馏或微调的方法，实现更优的稳定性-可塑性权衡？
• RQ3 所提方法在保持旧类别与新类别高准确率的前提下，能在多大程度上减少训练时间与内存使用？
• RQ4 FeTrIL 在多样化的增量学习设置下，与最先进无样本及有样本方法相比，性能表现如何？

主要发现

• FeTrIL 在 TinyImageNet 和 ImageNet-Subset 的多种增量设置下均达到最先进准确率，优于 10 种现有 EFCIL 方法。
• 在单个 CPU 线程上，FeTrIL 将 ImageNet-Subset（T=10）的增量训练时间缩短至仅 1 小时 4 分钟，而 PASS 在 V100 GPU 上仍需 11 小时 8 分钟。
• 稳定性-可塑性平衡显著改善：与 SSRE 相比，FeTrIL 在后续增量阶段对旧类别与新类别的准确率均更高且更均衡。
• FeTrIL 中旧类别与新类别的准确率差距小于 SSRE，表明其在稳定性与可塑性之间实现了更好的平衡，仅在第 4 个阶段因领域偏移可能影响性能而略有例外。
• 尽管伪特征不完美，但通过几何迁移生成的伪特征仍具有效性，使线性分类器能对所有类别实现良好泛化。
• 该方法性能接近有样本方法，显著缩小了无样本与有样本 EFCIL 设置之间的性能差距。