[论文解读] DualNet: Continual Learning, Fast and Slow

Quang Pham, Liu Chenghao+1 more|arXiv (Cornell University)|Oct 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用 60

一句话总结

DualNet 提出一个两系统的持续学习框架，包含用于通用表示的慢速自监督学习器和用于对新带标签数据快速适应的快速学习器，在线同步。它在 CORE50 和 miniImageNet 基准上优于最新基线。

ABSTRACT

According to Complementary Learning Systems (CLS) theory~\citep{mcclelland1995there} in neuroscience, humans do effective \emph{continual learning} through two complementary systems: a fast learning system centered on the hippocampus for rapid learning of the specifics and individual experiences, and a slow learning system located in the neocortex for the gradual acquisition of structured knowledge about the environment. Motivated by this theory, we propose a novel continual learning framework named "DualNet", which comprises a fast learning system for supervised learning of pattern-separated representation from specific tasks and a slow learning system for unsupervised representation learning of task-agnostic general representation via a Self-Supervised Learning (SSL) technique. The two fast and slow learning systems are complementary and work seamlessly in a holistic continual learning framework. Our extensive experiments on two challenging continual learning benchmarks of CORE50 and miniImageNet show that DualNet outperforms state-of-the-art continual learning methods by a large margin. We further conduct ablation studies of different SSL objectives to validate DualNet's efficacy, robustness, and scalability. Code will be made available upon acceptance.

研究动机与目标

• 通过互补学习系统（CLS）理论来激发持续学习，将快速的任务特定学习与慢速的通用表示学习分离。
• 将表示学习从监督学习解耦，使用一个慢速的基于 SSL 的模块和一个快速、逐样本适应的模块。
• 展示同步训练的慢速和快速学习器在具有挑战性基准上的忘记现象减少、迁移性提升和整体精度改善。
• 展示 DualNet 对不同 SSL 目标和优化器的鲁棒性，并分析消融研究和半监督设置。

提出的方法

• 两模型架构：一个慢速学习器 φ 在记忆样本上用自监督损失训练，以学习通用表示；一个快速学习器 θ 通过逐样本变换机制使这些表示适应带标签的数据。
• 慢速学习器目标：采用自监督损失；本文实现 BarLow Twins 风格的损失以促进不变性并减少冗余。
• 慢速学习器的优化使用 Look-ahead SGD，以在持续学习中记忆分布不断演化的情况下增强收敛。
• 快速学习器目标：逐样本适应，基于输入条件生成适应后的特征，使从新的带标签样本中快速学习成为可能，无需任务标识符。
• 经验回放：用软标签损失和KL散度将新到的带标签数据与记忆样本结合，以稳定学习。
• 训练是同步的：慢速 SSL 目标在后台运行，而快速学习器在新的带标签数据上更新，反向传播穿过两个组成部分。

实验结果

研究问题

• RQ1 解耦的慢速 SSL 基表示学习结合快速逐样本适应机制，是否能提升持续学习相对于最新方法的性能？
• RQ2 同频训练的慢速和快速学习器是否在在线持续学习设置中实现对任务间的稳健知识保留与迁移？
• RQ3 DualNet 的性能如何随不同的 SSL 目标和优化策略而变化？
• RQ4 在标签数据稀缺的半监督持续学习场景下，DualNet 是否有效？
• RQ5 在监督更新之间改变 SSL 迭代次数对遗忘和迁移有何影响？

主要发现

• DualNet 在 CORE50 和 Split miniImageNet 基准上，在有任务感知和无任务感知设置中，优于基线方法（包括 ER、DER++、CTN）。
• 使用 SSL 训练的慢速学习器提供鲁棒的、任务无关的表示，有助于跨任务的更好泛化。
• 快速学习器中的逐样本适应使对新知识的快速获取成为可能，而无需任务标识符。
• 对慢速学习器使用 Look-ahead 优化和 BarLow Twins SSL 可实现强收敛和性能提升，消融研究确认所选 SSL 目标的有效性。
• 在不同的 SSL 迭代次数下，DualNet 仍然有效，随着在监督更新之间进行更多 SSL 更新，忘记现象减少、迁移提升。
• 在部分标注的半监督设置中，DualNet 通过慢速 SSL 分支利用未标注数据，提升性能超过基线。