[论文解读] Generative Feature Replay For Class-Incremental Learning

Xialei Liu, Chenshen Wu+6 more|arXiv (Cornell University)|Apr 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 59被引用 10

一句话总结

本文提出生成式特征回放（GFR），一种类增量学习方法，通过生成高层特征而非图像来避免灾难性遗忘，结合分类器中的生成回放与特征提取器中的特征蒸馏。该方法在CIFAR-100和ImageNet上实现了最先进性能，且存储需求极低——仅需4.5MB的生成器存储空间，优于需要存储数千张样本的原型方法。

ABSTRACT

Humans are capable of learning new tasks without forgetting previous ones, while neural networks fail due to catastrophic forgetting between new and previously-learned tasks. We consider a class-incremental setting which means that the task-ID is unknown at inference time. The imbalance between old and new classes typically results in a bias of the network towards the newest ones. This imbalance problem can either be addressed by storing exemplars from previous tasks, or by using image replay methods. However, the latter can only be applied to toy datasets since image generation for complex datasets is a hard problem. We propose a solution to the imbalance problem based on generative feature replay which does not require any exemplars. To do this, we split the network into two parts: a feature extractor and a classifier. To prevent forgetting, we combine generative feature replay in the classifier with feature distillation in the feature extractor. Through feature generation, our method reduces the complexity of generative replay and prevents the imbalance problem. Our approach is computationally efficient and scalable to large datasets. Experiments confirm that our approach achieves state-of-the-art results on CIFAR-100 and ImageNet, while requiring only a fraction of the storage needed for exemplar-based continual learning. Code available at \url{https://github.com/xialeiliu/GFR-IL}.

研究动机与目标

• 解决类增量学习中推理时任务身份未知所导致的灾难性遗忘问题。
• 克服因先前任务数据有限导致的类别不平衡问题，避免分类器偏向新类。
• 消除因隐私或存储限制而必须存储先前任务样本的需求。
• 通过以更简单的特征生成替代复杂的图像生成，提升在ImageNet等大规模数据集上的可扩展性。
• 与基于原型的方法相比，显著降低内存开销，实现最先进性能。

提出的方法

• 网络被划分为特征提取器和分类器，其中特征提取器通过特征蒸馏训练，以保留先前任务的知识。
• 生成回放应用于高层特征（如最后的全连接层输出），而非原始图像，从而降低生成复杂度。
• 训练一个生成器以合成先前任务的特征，这些特征在当前任务训练中用于平衡类别分布。
• 对特征提取器应用特征蒸馏，以保持跨任务的表征稳定性。
• 采用GAN或高斯噪声进行特征生成，消融研究识别出最优的回放特征深度。
• 在训练过程中动态结合生成特征与当前任务数据，避免依赖存储的原型样本。

Figure 1: Comparison of generative image replay and the proposed generative feature replay. Instead of replaying images $x$ the proposed method uses a generator $G$ to replay features $u$ . To prevent forgetting in the feature extractor $F$ we apply feature distillation. Feature replay allows us to

实验结果

研究问题

• RQ1 生成式特征回放能否在不存储原型样本的情况下有效缓解类增量学习中的灾难性遗忘？
• RQ2 与生成图像相比，生成高层特征是否能在ImageNet等大规模数据集上带来更好的性能和可扩展性？
• RQ3 特征深度选择（如模块级特征与最终层特征）如何影响生成回放的性能？
• RQ4 结合特征蒸馏与生成回放的方法能否在准确率和内存效率方面超越基于原型和基于图像生成的方法？
• RQ5 在任务数量不断增加的情况下，尤其在长尾类增量场景中，该方法表现如何？

主要发现

• 在25个任务的CIFAR-100上，GFR大幅超越iCaRL-NME，且在未使用任何原型样本的情况下，性能与Rebalance相当。
• 在ImageNet-1000上，GFR仅用4.5MB生成器内存即达到最先进准确率，远低于iCaRL中每类20个原型样本所需的3.8GB内存。
• 基于GAN的特征生成方法优于高斯噪声生成，且随着任务数量增加，性能大幅超越Rebalance。
• 消融研究显示，从Block 4（高层特征）回放特征可达到57.6%的平均准确率，而低层特征回放（Block 1）下降至80.7%，表明高层特征更易生成且更有效。
• 内存使用大幅降低：GFR仅需4.5MB，而iCaRL需375MB，MeRGAN需8.5MB，且GFR在ImageNet上的性能优于MeRGAN。
• 特征提取器中的特征蒸馏有助于维持表征稳定性，CCA分析证实遗忘最严重的区域位于深层网络，从而支持聚焦高层特征的合理性。

Figure 2: Canonical Correlation Analysis (CCA) similarity of different continual learning methods performed on equally distributed 4-task scenario on CIFAR-100. The vertical axis shows the evolution over time of the correlation for given task activations. The horizontal axis shows correlation at dif