[论文解读] Continual Learning via Local Module Composition

Oleksiy Ostapenko, Pau Rodríguez+2 more|arXiv (Cornell University)|Nov 15, 2021

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出局部模块组合（LMC），一种持续学习框架，通过每个模块的局部结构组件预测模块与输入的相关性，实现无需任务ID的模块化网络动态组合。通过基于学习的相关性分数动态组合模块，并利用分布外（OOD）输入检测机制触发新模块创建，LMC在无需任务ID的情况下实现优异性能，支持对未见任务的零样本泛化，以及对独立训练模型的模块化网络组合。

ABSTRACT

Modularity is a compelling solution to continual learning (CL), the problem of modeling sequences of related tasks. Learning and then composing modules to solve different tasks provides an abstraction to address the principal challenges of CL including catastrophic forgetting, backward and forward transfer across tasks, and sub-linear model growth. We introduce local module composition (LMC), an approach to modular CL where each module is provided a local structural component that estimates a module's relevance to the input. Dynamic module composition is performed layer-wise based on local relevance scores. We demonstrate that agnosticity to task identities (IDs) arises from (local) structural learning that is module-specific as opposed to the task- and/or model-specific as in previous works, making LMC applicable to more CL settings compared to previous works. In addition, LMC also tracks statistics about the input distribution and adds new modules when outlier samples are detected. In the first set of experiments, LMC performs favorably compared to existing methods on the recent Continual Transfer-learning Benchmark without requiring task identities. In another study, we show that the locality of structural learning allows LMC to interpolate to related but unseen tasks (OOD), as well as to compose modular networks trained independently on different task sequences into a third modular network without any fine-tuning. Finally, in search for limitations of LMC we study it on more challenging sequences of 30 and 100 tasks, demonstrating that local module selection becomes much more challenging in presence of a large number of candidate modules. In this setting best performing LMC spawns much fewer modules compared to an oracle based baseline, however, it reaches a lower overall accuracy. The codebase is available under https://github.com/oleksost/LMC.

研究动机与目标

• 通过模块化、可组合的架构解决持续学习中的灾难性遗忘与模型增长亚线性问题。
• 克服推理过程中对任务ID的依赖，提升在真实场景中的适用性。
• 通过引入模块特定的局部相关性评分机制，实现在无任务ID条件下动态模块组合与扩展。
• 支持分布外（OOD）泛化以及对独立训练模型的模块化网络组合。
• 在包含30个和100个任务的长尾任务序列中评估方法的鲁棒性与可扩展性。

提出的方法

• 为每个模块配备一个局部结构组件，通过学习的相关性分数估计其与输入的相关性。
• 使用归一化相关性分数进行逐层动态模块组合，消除对任务ID的依赖。
• 当所有现有模块均将输入标记为分布外（OOD）时，通过局部OOD检测机制触发新模块创建。
• 引入一个投影阶段，其中新浅层模块被训练以最大化深层模块的相关性分数，确保模块间的兼容性。
• 使用生成模型作为结构组件，通过重构模块输入实现OOD检测与结构学习。
• 在每一层通过加权求和聚合（式4）实现模块间隐式的通信与知识整合。

实验结果

研究问题

• RQ1 无任务ID依赖的模块化持续学习系统是否能在推理阶段实现优异性能？
• RQ2 局部结构学习是否能有效支持对未见任务的分布外（OOD）泛化？
• RQ3 能否在无需微调的情况下将独立训练的模块化网络组合为新的模块化网络？
• RQ4 在候选模块数量众多的长任务序列中，模块选择性能如何退化？
• RQ5 局部相关性评分机制是否能支持在真实场景中实现可扩展、动态且稳定的持续学习？

主要发现

• LMC在CTrL基准测试中表现优于或相当于是当前最先进方法，且在测试阶段无需使用任务ID。
• LMC成功泛化到训练期间未见的分布外（OOD）任务，展现出零样本迁移能力。
• LMC可在无需任何微调的情况下，将不同任务序列上独立训练的模块化网络组合为单一功能性网络。
• 在30个和100个任务的序列中，LMC生成的模块数量显著少于基于Oracle的MNTDP基线方法，但准确率略低，表明在大规模候选模块集合下自动模块选择仍具挑战。
• 投影阶段显著提升了浅层与深层模块间的兼容性，支持稳定训练与有效组合。
• LMC的性能对局部OOD检测器和生成模型的可靠性较为敏感，凸显其对OOD检测与生成建模技术进步的依赖。