[论文解读] Marginal Replay vs Conditional Replay for Continual Learning

Timothée Lesort, Alexander Gepperth+2 more|arXiv (Cornell University)|Oct 29, 2018

Domain Adaptation and Few-Shot Learning参考文献 37被引用 4

一句话总结

本文提出条件回放（conditional replay），一种用于持续学习的生成式回放方法，通过以类别标签为条件，联合生成样本与标签，避免了易出错的标签推断。实验表明，条件回放优于边缘回放（marginal replay），尤其在生成样本数量受限时，通过维持平衡的类别分布并实现恒定时间复杂度，使其在内存和计算资源有限的实时应用中更具适用性。

ABSTRACT

We present a new replay-based method of continual classification learning that we term "conditional replay" which generates samples and labels together by sampling from a distribution conditioned on the class. We compare conditional replay to another replay-based continual learning paradigm (which we term "marginal replay") that generates samples independently of their class and assigns labels in a separate step. The main improvement in conditional replay is that labels for generated samples need not be inferred, which reduces the margin for error in complex continual classification learning tasks. We demonstrate the effectiveness of this approach using novel and standard benchmarks constructed from MNIST and FashionMNIST data, and compare to the regularization-based \ extit{elastic weight consolidation} (EWC) method.

研究动机与目标

• 通过开发更鲁棒的回放机制，解决持续学习中的灾难性遗忘问题。
• 克服边缘回放的局限性，后者需对生成样本单独预测标签，可能引入误差源。
• 提出并评估条件回放作为更优替代方案，通过类别条件联合生成样本与标签。
• 设计基于MNIST和FashionMNIST的新基准，包含不相交、排列和旋转任务，以严格评估回放策略。
• 证明条件回放可实现恒定时间复杂度的持续学习，同时保持可管理的内存与计算开销，适用于真实世界部署。

提出的方法

• 提出条件回放：一种从类别条件分布 P(x|y) 采样的生成模型，可同时生成图像与标签。
• 使用生成对抗网络（GANs）和变分自编码器（VAEs）实现条件回放，比较不同生成模型在持续学习设置下的性能。
• 与边缘回放进行对比，后者独立于类别生成样本，再通过分类器后验预测标签。
• 为每个任务固定生成样本数量，条件回放可精确控制类别平衡。
• 在标准与新型基准（不相交、排列、旋转任务）上应用两种方法，评估泛化能力与遗忘情况。
• 在顺序任务上训练深度神经网络（DNN），通过条件或边缘生成实现经验回放，以缓解灾难性遗忘。

实验结果

研究问题

• RQ1 在持续学习中，与边缘回放相比，条件回放是否能减少标签推断带来的错误？
• RQ2 当生成样本数量受限时，条件回放相较于边缘回放的表现如何？
• RQ3 条件回放能否在持续学习中维持高准确率，同时确保恒定时间复杂度？
• RQ4 在如不相交类别持续学习任务等挑战性基准上，条件回放的有效性如何？
• RQ5 生成数据中的类别不平衡对边缘回放性能有何影响？条件回放如何缓解此问题？

主要发现

• 在生成样本较少时，条件回放优于边缘回放，尤其在低样本预算下（如每任务 0.1tN vs tN），因其具备更优的类别分布控制能力。
• 当生成样本较少时，边缘回放因严重类别不平衡而表现欠佳，导致分类准确率下降。
• 条件回放能有效维持生成数据中类别分布的平衡，直接提升模型泛化能力并减少遗忘。
• 随着生成样本数量增加，条件回放与边缘回放之间的性能差距逐渐缩小，边缘回放最终可追平。
• 条件回放可实现恒定时间复杂度的持续学习，因为生成样本数量无需随时间增长，而边缘回放则不然。
• 不相交类别持续学习基准对判别模型极具挑战性，但条件回放能有效应对，展现出其鲁棒性。