[论文解读] Continual Classification Learning Using Generative Models
该论文提出了一种使用生成模型的持续分类学习方法，通过采用变分自编码器（VAE）框架的师生架构，防止灾难性遗忘。该模型通过教师网络生成过去任务的合成数据以增强当前任务的训练，实现在不存储过去数据或模型的情况下，联合进行生成与判别学习，并在置换MNIST和FashionMNIST基准上实现了在连续任务中的稳定性能。
Continual learning is the ability to sequentially learn over time by accommodating knowledge while retaining previously learned experiences. Neural networks can learn multiple tasks when trained on them jointly, but cannot maintain performance on previously learned tasks when tasks are presented one at a time. This problem is called catastrophic forgetting. In this work, we propose a classification model that learns continuously from sequentially observed tasks, while preventing catastrophic forgetting. We build on the lifelong generative capabilities of [10] and extend it to the classification setting by deriving a new variational bound on the joint log likelihood, $\log p(x; y)$.
研究动机与目标
- 解决持续学习中分类任务的灾难性遗忘问题。
- 实现在不存储先前数据或任务特定模型情况下的持续学习。
- 在顺序学习设置中，联合优化生成重建与判别分类。
- 开发一种利用生成建模来保留过去任务知识的方法。
- 仅通过过去分布的蒸馏摘要，实现在连续任务中稳定的表现。
提出的方法
- 该方法使用变分自编码器（VAE），对输入 $x$ 和标签 $y$ 建立联合潜在变量模型，将 $p(x,y,z) = p(x|z)p(y|z)p(z)$ 因子化。
- 推导出 $\log p(x,y)$ 的新型变分界，将其分解为用于重建的ELBO和潜在空间上的分类损失。
- 采用学生-教师蒸馏框架：学生在当前数据和教师生成的数据上进行学习，教师则总结过去任务的分布。
- 损失函数包含KL散度项，以保留先前任务的后验表示，并包含负信息增益正则化项，以对齐潜在表示与生成数据。
- 通过教师生成过去任务的样本，避免存储过去数据或模型，实现在严格内存约束下的持续学习。
- 使用小批量随机梯度下降并结合早停策略，端到端优化目标函数。
实验结果
研究问题
- RQ1生成模型能否被有效适配到持续分类学习中，同时防止灾难性遗忘？
- RQ2蒸馏教师模型在多大程度上可以替代存储过去数据或模型的需求？
- RQ3重建与分类损失的联合优化在顺序任务上的表现如何？
- RQ4所提出的方法是否能在不遗忘的前提下，在多个顺序任务中保持高准确率和低重建误差？
- RQ5与VAE加分类器和EWC等基线方法相比，该方法在遗忘控制和准确率保持方面表现如何？
主要发现
- 在置换MNIST实验中，所提出的CCL-GM模型在所有任务中均保持了高平均分类准确率，即使在完成多个顺序任务后依然如此。
- 该模型在所有学习任务中均实现了低平均负重建ELBO，表明其具有强大的生成性能。
- 相比之下，原始VAE加分类器（vae-cl）在切换到第一个置换任务时性能急剧下降，表现出严重的遗忘现象。
- EWC基线方法的退化程度低于vae-cl，但仍表现出显著的遗忘，凸显了仅靠正则化而无数据增强的局限性。
- 在包含MNIST、FashionMNIST和一个置换MNIST任务的三任务序列中，CCL-GM在分类准确率和重建质量方面均优于两个基线模型。
- 该方法通过教师网络生成过去任务数据，成功缓解了灾难性遗忘，实现了无需访问或存储过去数据或模型的持续学习。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。