[论文解读] Model Zoo: A Growing "Brain" That Learns Continually

R. Ramesh, Pratik Chaudhari|arXiv (Cornell University)|Jun 6, 2021

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

该论文提出了 Model Zoo，一种持续学习框架，通过构建任务特定模型的集成来缓解灾难性遗忘并提升正向与反向迁移性能。受 AdaBoost 启发，该方法选择在当前集成中表现较差的过往任务，与新任务联合训练，从而在多个基准测试中达到最先进性能，包括在 Split-miniImageNet 上相比现有方法实现 30% 的准确率提升。

ABSTRACT

This paper argues that continual learning methods can benefit by splitting the capacity of the learner across multiple models. We use statistical learning theory and experimental analysis to show how multiple tasks can interact with each other in a non-trivial fashion when a single model is trained on them. The generalization error on a particular task can improve when it is trained with synergistic tasks, but can also deteriorate when trained with competing tasks. This theory motivates our method named Model Zoo which, inspired from the boosting literature, grows an ensemble of small models, each of which is trained during one episode of continual learning. We demonstrate that Model Zoo obtains large gains in accuracy on a variety of continual learning benchmark problems. Code is available at https://github.com/grasp-lyrl/modelzoo_continual.

研究动机与目标

• 为通过重新思考跨任务的模型容量分配来解决持续学习中的灾难性遗忘问题。
• 研究当多个任务在单一模型上联合训练时，任务相关性如何影响泛化误差。
• 开发一种可扩展、高效的持续学习方法，通过模型集成实现正向与反向迁移。
• 通过展示简单孤立训练可优于复杂持续学习方法，挑战现有持续学习设置中的假设。
• 证明数据重放与任务协同可显著提升性能，即使在单周期训练设置中亦然。

提出的方法

• Model Zoo 构建一组小型、任务特定的模型，每个模型在每个学习阶段仅训练一次且之后不再更新。
• 在每个阶段，训练一个新模型以处理当前任务，并选择一组基于其在当前集成中表现较差的过往任务进行联合训练。
• 选择过往任务进行联合训练的机制受 AdaBoost 启发，优先选择表现不佳的任务。
• 推理时，对所有在目标任务上训练过的模型的预测结果取平均。
• 该方法使用完整重放过往任务数据，不同于仅重放子集或使用生成式重放的方法。
• 它显式地在不同任务间分配模型容量，以减少干扰并利用任务间的协同关系。

实验结果

研究问题

• RQ1 在单一模型上联合训练多个任务如何影响泛化误差？在何种情况下会产生负面影响？
• RQ2 与单模型方法相比，将模型容量分配到多个模型是否能提升持续学习性能？
• RQ3 任务相关性在多大程度上影响持续学习中联合训练的成功？
• RQ4 简单的孤立训练基线（即为每个任务单独训练一个小模型）是否优于复杂的持续学习方法？
• RQ5 在缓解遗忘与增强迁移方面，完整数据重放结合模型集成的效率如何？

主要发现

• 孤立学习器（即为每个任务单独训练小模型，不使用持续学习）在平均性能上比大多数现有持续学习方法高出 8% 以上，即使不使用数据重放。
• 与现有方法相比，Model Zoo 在 Split-miniImageNet 基准测试中实现了平均每个任务准确率 30% 的提升。
• 在单周期与多周期设置下，Model Zoo 使用完整数据重放相比其孤立基线模型，准确率均提升约 10%。
• 该方法展现出强大的正向与反向迁移能力，表明任务间知识共享有效。
• 即使在多轮训练的大模型，其性能仍不如单轮训练的小型孤立模型，暗示当前基准测试可能尚未充分训练。
• 实证结果表明，当任务之间缺乏协同性时，单模型中的任务竞争会降低性能，验证了任务相关性理论分析的正确性。