[论文解读] A Neural Dirichlet Process Mixture Model for Task-Free Continual Learning

Soochan Lee, Junsoo Ha+2 more|arXiv (Cornell University)|Jan 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用 94

一句话总结

CN-DPM 引入了神经专家的 Dirichlet 过程混合模型，以实现任务无关的持续学习。它在贝叶斯非参数框架下在线扩展专家，并在没有任务边界的情况下处理判别和生成任务。

ABSTRACT

Despite the growing interest in continual learning, most of its contemporary works have been studied in a rather restricted setting where tasks are clearly distinguishable, and task boundaries are known during training. However, if our goal is to develop an algorithm that learns as humans do, this setting is far from realistic, and it is essential to develop a methodology that works in a task-free manner. Meanwhile, among several branches of continual learning, expansion-based methods have the advantage of eliminating catastrophic forgetting by allocating new resources to learn new data. In this work, we propose an expansion-based approach for task-free continual learning. Our model, named Continual Neural Dirichlet Process Mixture (CN-DPM), consists of a set of neural network experts that are in charge of a subset of the data. CN-DPM expands the number of experts in a principled way under the Bayesian nonparametric framework. With extensive experiments, we show that our model successfully performs task-free continual learning for both discriminative and generative tasks such as image classification and image generation.

研究动机与目标

• 激励并开发一种不依赖显式任务边界的持续学习方法。
• 提出一种基于扩展的方法，通过贝叶斯非参数自适应地为新数据扩展模型容量。
• 在统一的 CN-DPM 框架内实现判别和生成任务。
• 通过为每个专家使用独立的生成和判别组件来防止灾难性遗忘。
• 在标准的任务无关持续学习基准（MNIST、SVHN、CIFAR）上与基线方法相比展现有竞争力的性能。

提出的方法

• 将任务无关持续学习表述为神经专家的 Dirichlet 过程混合模型 (DPM) 的在线变分推断。
• 每个专家同时包含判别组件 p(y|x; φ^D) 和生成组件 p(x; φ^G)，以共同建模 p(x,y|z)。
• 在数据到来时使用序列变分近似（SVA）在线更新责任度和专家参数。
• 当新数据在现有专家下的责任度较低时，通过创建新专家来扩展模型，并以短时记忆（STM）缓冲区收集足够数据再扩展。
• 通过横向连接在专家之间共享参数，以缓解无限增长并实现正向迁移，同时冻结新专家梯度以保持先前知识。
• 结合由 p(x; φ^G) 和 p(z) 推导的门控机制，以推断对给定输入负责的专家，从而实现 p(y|x) 的混合专家预测。

实验结果

研究问题

• RQ1 是否能够通过扩展式方法实现任务无关持续学习，并自动确定何时添加新专家？
• RQ2 在没有任务标签的情况下，门控机制如何推断合适的专家并避免灾难性遗忘？
• RQ3 在单一的 CN-DPM 框架中是否可以同时支持判别和生成任务？
• RQ4 贝叶斯非参数扩展（DPM）是否能扩展到具有非独立同分布数据流的多个基准？
• RQ5 哪些实际策略（STM、参数共享、温度缩放）可以提升 CN-DPM 的性能和稳定性？

主要发现

• CN-DPM 在任务无关 CL 的 Split-MNIST、MNIST-SVHN、Split-CIFAR10、Split-CIFAR100 场景中持续优于具有竞争力的基线方法。
• 该模型保持低遗忘，在学习所有任务后，按任务划分的分类器性能仍然很高。
• CN-DPM 的扩展驱动增长适应数据复杂度，按需要创建多个专家以捕获新的分布。
• 门控准确性（通过变分自编码器）是需要改进的领域，表明通过更好的密度估计来选择专家有潜在提升。
• 通过横向连接的参数共享和对新专家的受控训练可以缓解模型膨胀并在任务间实现正向迁移。
• CN-DPM 在任务数量较多的设置（例如 Split-CIFAR100）中表现出色，而仅有回放的方法难以应对，并且避免了明显的回放诱发的过拟合。
• 该方法适用于判别（分类）和生成（生成）任务，体现了 CN-DPM 框架的多功能性。