[论文解读] Continuum: Simple Management of Complex Continual Learning Scenarios

Arthur Douillard, Timothée Lesort|arXiv (Cornell University)|Feb 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 34被引用 17

一句话总结

Continuum 是一个开源的 Python 库，通过为多样化的非独立同分布（non-iID）场景（如类别增量学习、实例增量学习和基于变换的学习）提供可重用、可复现的数据加载器，简化了持续学习中的数据管理。它通过提供预构建的场景、评估指标和可扩展组件，使研究人员能够专注于模型开发，同时最大限度减少样板代码。

ABSTRACT

Continual learning is a machine learning sub-field specialized in settings with non-iid data. Hence, the training data distribution is not static and drifts through time. Those drifts might cause interferences in the trained model and knowledge learned on previous states of the data distribution might be forgotten. Continual learning's challenge is to create algorithms able to learn an ever-growing amount of knowledge while dealing with data distribution drifts. One implementation difficulty in these field is to create data loaders that simulate non-iid scenarios. Indeed, data loaders are a key component for continual algorithms. They should be carefully designed and reproducible. Small errors in data loaders have a critical impact on algorithm results, e.g. with bad preprocessing, wrong order of data or bad test set. Continuum is a simple and efficient framework with numerous data loaders that avoid researcher to spend time on designing data loader and eliminate time-consuming errors. Using our proposed framework, it is possible to directly focus on the model design by using the multiple scenarios and evaluation metrics implemented. Furthermore the framework is easily extendable to add novel settings for specific needs.

研究动机与目标

• 解决持续学习中缺乏标准化、可重用且可复现的数据加载器的问题，这些问题虽然至关重要，但实现起来却容易出错。
• 减少研究人员在设计和调试非独立同分布数据分布数据加载器上所花费的时间和精力。
• 提供一个统一且可扩展的框架，支持多种持续学习场景，包括增量学习、终身学习以及混合（NIC）设置。
• 通过标准化数据加载和评估工作流程，提升持续学习研究的可复现性。
• 通过抽象化底层数据管理复杂性，使研究人员能够专注于算法创新。

提出的方法

• 实现一个模块化、符合 Unix 哲学的框架，仅专注于持续学习的数据加载和评估指标。
• 提供预构建的场景，如 ClassIncremental（类别增量学习）、InstanceIncremental（终身学习）和 TransformationScenario（例如，Rotation-MNIST、Permuted-MNIST），以支持常见的持续学习设置。
• 支持标准数据集（如 MNIST、CIFAR10/100、ImageNet）以及像 CORe50 这类带有元数据的专用数据集，以支持复杂场景。
• 集成一个 Logger 类，可在批量或任务级别记录模型预测、真实标签和任务 ID，从而实现标准指标（如准确率、遗忘率和模型大小效率）的自动计算。
• 设计该库时支持通过继承轻松扩展，允许用户在不重写核心组件的前提下创建自定义数据集、场景或变换。
• 确保与 PyTorch 的 DataLoader 接口兼容，以便与现有的深度学习训练流程无缝集成。

实验结果

研究问题

• RQ1 如何降低持续学习中数据加载的复杂性，以加速研究并提升可复现性？
• RQ2 研究人员在持续学习中频繁需要实现的最常见且可重用的场景有哪些？
• RQ3 一个标准化且可扩展的数据加载与评估框架，能否提升持续学习实验的一致性和可靠性？
• RQ4 一个轻量级、专注的库在多大程度上可以减少开发时间并消除持续学习项目中常见的数据加载器错误？
• RQ5 如何通过统一平台支持多种数据类型（如图像、文本、音频）以及像 NIC（新实例与新类别）这样的复杂场景？

主要发现

• Continuum 提供了一个即用、可扩展的框架，消除了研究人员为持续学习场景自行实现和调试自定义数据加载器的需求。
• 该库支持多种标准的持续学习场景，包括类别增量学习、实例增量学习以及基于变换的学习（如 Rotation-MNIST、Permuted-MNIST）。
• 当输入预测结果、真实标签和任务 ID 时，通过 Logger 类可自动计算评估指标，如准确率、遗忘率和模型大小效率。
• 该框架与主流深度学习库（如 PyTorch）兼容，并可通过标准 DataLoader 接口与现有训练循环无缝集成。
• 通过抽象化数据加载和指标追踪，Continuum 减少了代码量和开发时间，同时降低了因数据顺序错误、预处理不当或测试集泄露导致的错误风险。
• 该库设计为可扩展，允许研究人员在不重写核心组件的前提下创建自定义数据集和场景，支持未来扩展至分割、检测和多模态数据。