[论文解读] Incremental Classifier Learning with Generative Adversarial Networks

Yue Wu, Yinpeng Chen+6 more|arXiv (Cornell University)|Feb 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 98

一句话总结

提出一个增量分类器学习框架，结合一种新损失函数（交叉熵 + 蒸馏）、偏置去除，以及 GAN 生成的历史数据，以在不依赖真实历史数据的情况下缓解灾难性遗忘。 在 CIFAR-100、Flower-102 和 MS-Celeb-1M-Base 上评估，显示出与最先进结果竞争力及在隐私和可扩展性方面的优势。

ABSTRACT

In this paper, we address the incremental classifier learning problem, which suffers from catastrophic forgetting. The main reason for catastrophic forgetting is that the past data are not available during learning. Typical approaches keep some exemplars for the past classes and use distillation regularization to retain the classification capability on the past classes and balance the past and new classes. However, there are four main problems with these approaches. First, the loss function is not efficient for classification. Second, there is unbalance problem between the past and new classes. Third, the size of pre-decided exemplars is usually limited and they might not be distinguishable from unseen new classes. Forth, the exemplars may not be allowed to be kept for a long time due to privacy regulations. To address these problems, we propose (a) a new loss function to combine the cross-entropy loss and distillation loss, (b) a simple way to estimate and remove the unbalance between the old and new classes , and (c) using Generative Adversarial Networks (GANs) to generate historical data and select representative exemplars during generation. We believe that the data generated by GANs have much less privacy issues than real images because GANs do not directly copy any real image patches. We evaluate the proposed method on CIFAR-100, Flower-102, and MS-Celeb-1M-Base datasets and extensive experiments demonstrate the effectiveness of our method.

研究动机与目标

• 在过去数据不可用时解决增量分类器学习中的灾难性遗忘问题。
• 开发一种损失函数，能够在旧样本和新数据上有效结合交叉熵损失与蒸馏损失。
• 通过一个简单的偏置去除机制，在验证数据上可估计，平衡旧类与新类。
• 使用 GAN 生成历史数据并选择具有代表性的样本以替代真实数据，同时保护隐私。

提出的方法

• 将增量学习定义为在有新标注数据 X^m 的情况下将分类器从 n 类扩展到 n+m 类。
• 提出损失 L = lambda L_d + (1 - lambda) L_c，将蒸馏损失与跨熵损失在旧样本和新数据之间结合。
• 引入偏置标量 beta，用于缩放新类的输出，并在验证集上估计以消除旧/新类偏置。
• 训练一个 GAN 来建模旧数据：G(z) 通过旧分类器标注为 f^n 的图像，选择生成的样本其类别概率最大且高于阈值 theta。
• 在增量学习设置中用 GAN 生成的样本替代真实样本，并在训练中重用相同的损失函数。

实验结果

研究问题

• RQ1 综合蒸馏与交叉熵损失是否能在学习新类的同时提升对旧类知识的保持？
• RQ2 一种简单的偏置去除策略是否能在增量学习中有效平衡旧类与新类？
• RQ3 GAN 生成的历史数据是否能有效替代真实样本来缓解遗忘，并在隐私方面具有优势？
• RQ4 样本选择、损失平衡与偏置参数如何影响增量学习的性能？
• RQ5 在数据集之间，使用 GAN 生成数据与真实样本在性能上有多大差距？

主要发现

• 所提出的在旧样本与新数据结合下的损失函数在 CIFAR-100、Flower-102 与 MS-Celeb-1M-Base 上优于 LwF 和 iCaRL。
• 通过标量 beta 的偏置去除在验证集和测试集上始终提高准确率，减少旧/新类偏置。
• GAN 生成的历史数据达到具有竞争力的结果，优于在无样本的 LwF，在进行微调接近真实样本的表现。
• Our-Real（使用真实样本）在 CIFAR-100、Flower-102 与 MS-Celeb-1M-Base 上相比 iCaRL 获得提升，并在批量设置（P=2,5,10,20）中保持鲁棒性。
• 在极端批量设置下，使用真实样本的增量学习接近批量训练的上界，体现了所提出的损失与偏置策略的有效性。