[论文解读] Autoencoder-Based Incremental Class Learning without Retraining on Old Data

Euntae Choi, Kyungmi Lee+1 more|arXiv (Cornell University)|Jul 18, 2019

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

该论文提出了一种基于自编码器的增量类学习方法，无需对旧数据进行微调或存储样本，即可避免灾难性遗忘。通过自编码器学习类原型，并结合基于度量的分类与正则化（SI/MAS），该方法在CIFAR-100和CUB-200-2011上实现了最先进性能，且内存开销极低——仅需为每个类别存储一个均值原型。

ABSTRACT

Incremental class learning, a scenario in continual learning context where classes and their training data are sequentially and disjointedly observed, challenges a problem widely known as catastrophic forgetting. In this work, we propose a novel incremental class learning method that can significantly reduce memory overhead compared to previous approaches. Apart from conventional classification scheme using softmax, our model bases on an autoencoder to extract prototypes for given inputs so that no change in its output unit is required. It stores only the mean of prototypes per class to perform metric-based classification, unlike rehearsal approaches which rely on large memory or generative model. To mitigate catastrophic forgetting, regularization methods are applied on our model when a new task is encountered. We evaluate our method by experimenting on CIFAR-100 and CUB-200-2011 and show that its performance is comparable to the state-of-the-art method with much lower additional memory cost.

研究动机与目标

• 解决增量类学习（ICL）中的灾难性遗忘问题，且无需对过去数据进行微调。
• 相比基于回放或生成回放的方法（需存储或生成旧数据），降低内存开销。
• 通过每个类别仅存储一个类别原型（均值向量），实现可扩展的持续学习，且与数据集规模无关。
• 利用正则化技术在保持旧类别性能的同时，提升新类别的泛化能力。
• 证明基于自编码器学习的原型进行余弦相似度度量分类，可在更低内存成本下超越现有方法。

提出的方法

• 使用深度自编码器学习输入数据的紧凑且解耦表示，重点在于学习数据分布的有意义子流形。
• 通过计算每个类别编码特征的均值来提取类别原型，仅将这些原型作为内存存储的唯一内容。
• 使用余弦相似度与类别均值原型进行基于度量的分类，替代传统的Softmax分类。
• 在增量训练过程中应用正则化损失——突触智能（SI）和记忆感知突触（MAS），以防止灾难性遗忘。
• 引入一种异常值过滤机制（LOF），通过在增量学习过程中移除模糊或噪声样本，提升新类别的泛化能力。
• 首先在固定类别集合上端到端训练自编码器，然后在新类别到达时通过正则化进行微调。

实验结果

研究问题

• RQ1 基于自编码器学习特征的原型化度量分类系统，是否能在不存储旧数据的情况下，在增量类学习中实现高性能？
• RQ2 与基于回放或生成回放的方法相比，该方法在存储和可扩展性方面的内存效率如何？
• RQ3 在缺乏经验回放的情况下，SI和MAS等正则化技术在多大程度上能缓解灾难性遗忘？
• RQ4 引入异常值过滤（LOF）是否能提升模型学习新类别的能力，同时不降低对旧类别的性能？
• RQ5 在CIFAR-100和CUB-200-2011等标准基准上，该方法与iCaRL和FearNet等最先进方法相比表现如何？

主要发现

• 在CIFAR-100上，采用MAS+LOF的所提方法实现了$\Psi_{new}$为0.780，显著优于iCaRL（$ heta_{new} = 0.547$）和FearNet（$ heta_{new} = 0.598$）在新类别准确率上的表现。
• 在CUB-200-2011上，采用MAS+LOF的模型实现了$ heta_{new} = 0.780$，表现出对新类别的强泛化能力，同时保持了$ heta_{all} = 0.727$的总体性能。
• 该模型的内存成本随类别数量线性增长（每个类别一个均值向量），而FearNet的内存开销随存储样本数增长，类别越多所需内存越大。
• 该方法在显著更低的内存开销下，实现了与iCaRL和FearNet相当或更优的性能，尤其在长尾或大规模ICL场景中优势明显。
• LOF的使用通过减少噪声或模糊样本的影响，提升了$ heta_{new}$，尤其在与MAS结合时效果更显著。
• 训练时间和计算成本在类别数量增加时保持不变，因为每个增量步骤仅使用新类别数据。