[论文解读] Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay

Huan Liu, Li Gu+5 more|arXiv (Cornell University)|Jul 22, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文提出了一种用于少样本类增量学习（FSCIL）的数据无关重放方法，通过引入熵正则化生成具有不确定性的、贴近模型决策边界的合成数据，实现在不存储真实数据的情况下有效知识蒸馏。该方法显著减少了灾难性遗忘，同时快速适应新类别，性能优于当前最先进方法。

ABSTRACT

Few-shot class-incremental learning (FSCIL) has been proposed aiming to enable a deep learning system to incrementally learn new classes with limited data. Recently, a pioneer claims that the commonly used replay-based method in class-incremental learning (CIL) is ineffective and thus not preferred for FSCIL. This has, if truth, a significant influence on the fields of FSCIL. In this paper, we show through empirical results that adopting the data replay is surprisingly favorable. However, storing and replaying old data can lead to a privacy concern. To address this issue, we alternatively propose using data-free replay that can synthesize data by a generator without accessing real data. In observing the the effectiveness of uncertain data for knowledge distillation, we impose entropy regularization in the generator training to encourage more uncertain examples. Moreover, we propose to relabel the generated data with one-hot-like labels. This modification allows the network to learn by solely minimizing the cross-entropy loss, which mitigates the problem of balancing different objectives in the conventional knowledge distillation approach. Finally, we show extensive experimental results and analysis on CIFAR-100, miniImageNet and CUB-200 to demonstrate the effectiveness of our proposed one.

研究动机与目标

• 挑战当前普遍认为在FSCIL中数据重放无效的观点，特别是在少样本条件下。
• 解决持续学习中存储和重放真实数据所引发的隐私问题。
• 通过生成接近模型决策边界的高不确定性合成数据，提升FSCIL中的知识蒸馏效果。
• 通过使用重新标记策略替代多目标蒸馏，简化训练过程，实现纯交叉熵最小化。
• 证明基于熵正则化的数据无关重放方法在FSCIL基准测试中达到最先进性能。

提出的方法

• 在不访问真实数据的前提下，利用数据无关重放框架训练生成网络，从随机噪声中合成逼真的图像。
• 在生成网络训练过程中应用熵正则化，以最大化预测不确定性，从而促使网络生成靠近模型决策边界的样本。
• 将生成的数据重新标记为类似独热编码的目标，以支持通过交叉熵损失进行直接优化，避免在知识蒸馏与分类目标之间进行权衡。
• 使用真实少样本数据和生成的合成数据联合微调主干网络，以提升模型适应能力并减少遗忘。
• 在CIFAR-100、miniImageNet和CUB-200上结合标签分布分析与消融实验对方法进行评估。
• 消融实验将所提方法与DeepInversion进行对比，结果表明在数据生成与重放方面具有更优的性能与效率。

实验结果

研究问题

• RQ1 尽管存在数据不平衡与过拟合的担忧，数据重放是否仍可在少样本类增量学习中有效应用？
• RQ2 在生成器中引入熵正则化是否能提升合成数据的质量与在FSCIL知识蒸馏中的实用性？
• RQ3 与传统知识蒸馏相比，使用类似独热编码的目标对生成数据进行重新标记，是否能简化训练流程并提升性能？
• RQ4 在FSCIL设置下，所提出的无数据重放方法与现有无数据生成技术（如DeepInversion）相比表现如何？
• RQ5 每批次生成样本的最优数量是多少，才能在FSCIL中实现遗忘与适应之间的最佳平衡？

主要发现

• 在CIFAR-100上，所提方法平均准确率达到60.77%，比之前最先进方法高出1.66个百分点。
• 与基线生成器相比，使用熵正则化后，生成样本中属于少样本类别的比例提高了20-30%。
• 该方法在最终准确率上达到最高，并展现出最佳的遗忘缓解效果，在仅使用该方法时相比DeepInversion提升了2.85%。
• 当每批次重放的样本数量与真实训练样本数量相等时（例如CIFAR-100上每类25个），性能达到峰值，表明实现了最佳平衡。
• 将DeepInversion替换为所提方法后，最终准确率提升1.66%，证明其在数据生成与蒸馏方面具有更高的效率与有效性。
• 消融实验确认，主干网络微调与无数据重放相结合可显著提升性能，凸显了联合优化的优势。