[论文解读] Efficient Continual Learning with Modular Networks and Task-Driven Priors

Tom Véniat, Ludovic Denoyer+1 more|arXiv (Cornell University)|Dec 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 42被引用 29

一句话总结

本文提出一种带有任务驱动先验的模块化神经网络架构，实现高效的持续学习，使内存和计算量实现次线性增长，同时减轻灾难性遗忘。通过组合来自过往任务的可重用模块，并利用数据驱动的先验动态选择最优模块组合，该方法在测试迁移能力和可扩展性的新型、更具挑战性的基准上达到最先进性能，在长序列持续学习设置中优于现有方法。

ABSTRACT

Existing literature in Continual Learning (CL) has focused on overcoming catastrophic forgetting, the inability of the learner to recall how to perform tasks observed in the past. There are however other desirable properties of a CL system, such as the ability to transfer knowledge from previous tasks and to scale memory and compute sub-linearly with the number of tasks. Since most current benchmarks focus only on forgetting using short streams of tasks, we first propose a new suite of benchmarks to probe CL algorithms across these new axes. Finally, we introduce a new modular architecture, whose modules represent atomic skills that can be composed to perform a certain task. Learning a task reduces to figuring out which past modules to re-use, and which new modules to instantiate to solve the current task. Our learning algorithm leverages a task-driven prior over the exponential search space of all possible ways to combine modules, enabling efficient learning on long streams of tasks. Our experiments show that this modular architecture and learning algorithm perform competitively on widely used CL benchmarks while yielding superior performance on the more challenging benchmarks we introduce in this work.

研究动机与目标

• 解决现有持续学习方法在扩展效率不足或仅限于遗忘缓解而无法支持知识迁移的局限性。
• 识别稳健的持续学习系统的关键特性：避免灾难性遗忘、实现有效的知识迁移，以及内存和计算量随任务数量呈次线性增长。
• 设计并评估一个新的基准测试套件 CTrL，用于在标准遗忘指标之外测试这些特性。
• 开发一种带有任务驱动先验的模块化神经网络架构，实现高效、可扩展且具备知识迁移能力的持续学习。

提出的方法

• 该方法采用模块化神经网络，每个任务通过组合少量可重用的神经模块来解决，这些模块可来自先前任务的继承或新训练。
• 引入任务驱动先验，以指导在可能的模块组合指数空间中的搜索，仅聚焦于前一任务最优模块配置附近的局部扰动架构。
• 该先验为数据驱动，利用前一任务最优架构的特征来约束搜索空间，确保高效探索。
• 通过冻结过去模块并在当前任务学习时仅更新新模块，避免遗忘。
• 通过在语义相似任务间重用通用模块，支持知识迁移。
• 在一种现实的评估协议下进行评估：每个任务仅被看到一次，但推理时可重放数据，模拟真实世界的持续学习。

实验结果

研究问题

• RQ1 持续学习系统是否能在保持高绩效的同时，实现内存和计算量的次线性增长，且适用于长序列任务？
• RQ2 模块化架构在持续学习中是否能有效促进相关任务之间的知识迁移？
• RQ3 标准基准在多大程度上无法区分持续学习方法在迁移能力和可扩展性方面的差异？
• RQ4 数据驱动的、任务特定的先验在模块组合的组合空间中如何提升搜索效率？
• RQ5 带有任务驱动先验的模块化架构是否能在标准基准和新设计的、更具挑战性的持续学习基准上超越现有最先进方法？

主要发现

• 所提出的 MNTDP-D 方法在使用 ResNet 主干网络的 CTrL 基准上实现了最高平均准确率（0.70）和最佳可塑性表现，优于所有基线方法。
• 在长序列评估中，MNTDP-D 仅使用 102.03 MB 内存，平均准确率达到 0.75，显著优于 HAT* 和 MNTDP-S 等方法。
• 在迁移评估流中，尽管数据减少且类别重新排序，MNTDP-D 在最终任务上仍达到 0.70 的准确率，展现出强大的迁移能力。
• 该方法扩展高效：在 100 个任务下，MNTDP-D 仅使用 1299.0 FLOPs 和 11.6 MB 内存，表现出次线性增长。
• 在可塑性流中，MNTDP-D 在经历四个干扰任务后，仍在探测任务上保持 0.70 的准确率，表明遗忘极少且记忆保持能力强。
• 消融研究证实，任务驱动先验至关重要：若无该先验，性能显著下降，尤其在长序列中更为明显。