[论文解读] An Introduction to Lifelong Supervised Learning

Shagun Sodhani, Mojtaba Faramarzi+5 more|arXiv (Cornell University)|Jul 10, 2022

Higher Education Learning Practices被引用 4

一句话总结

本文提出终身监督学习作为一种框架，使AI系统能够从顺序任务中持续学习，同时减轻灾难性遗忘。它提出了模块化架构、适配器，并与外部知识库集成，以支持增量知识获取、选择性遗忘和动态适应——这些是实现可扩展、终身AI系统在现实世界中部署的关键。

ABSTRACT

This primer is an attempt to provide a detailed summary of the different facets of lifelong learning. We start with Chapter 2 which provides a high-level overview of lifelong learning systems. In this chapter, we discuss prominent scenarios in lifelong learning (Section 2.4), provide 8 Introduction a high-level organization of different lifelong learning approaches (Section 2.5), enumerate the desiderata for an ideal lifelong learning system (Section 2.6), discuss how lifelong learning is related to other learning paradigms (Section 2.7), describe common metrics used to evaluate lifelong learning systems (Section 2.8). This chapter is more useful for readers who are new to lifelong learning and want to get introduced to the field without focusing on specific approaches or benchmarks. The remaining chapters focus on specific aspects (either learning algorithms or benchmarks) and are more useful for readers who are looking for specific approaches or benchmarks. Chapter 3 focuses on regularization-based approaches that do not assume access to any data from previous tasks. Chapter 4 discusses memory-based approaches that typically use a replay buffer or an episodic memory to save subset of data across different tasks. Chapter 5 focuses on different architecture families (and their instantiations) that have been proposed for training lifelong learning systems. Following these different classes of learning algorithms, we discuss the commonly used evaluation benchmarks and metrics for lifelong learning (Chapter 6) and wrap up with a discussion of future challenges and important research directions in Chapter 7.

研究动机与目标

• 解决现实世界AI系统中数据和任务随时间演变时的持续学习挑战。
• 在顺序任务学习过程中克服机器学习模型的灾难性遗忘问题。
• 实现在无需从头开始训练的情况下，高效且增量式地更新知识。
• 促进与外部知识源的集成，以处理动态变化的信息。
• 开发模块化、可扩展的架构（例如适配器），以支持正向和反向知识迁移。

提出的方法

• 提出一种终身学习框架，通过模块化参数更新支持正向和反向知识迁移。
• 利用适配器模块——插入预训练Transformer模型中的小型可训练组件——实现在最小参数更新下的高效微调。
• 通过仅在新任务学习期间更新适配器模块，实现选择性知识保留与遗忘。
• 集成记忆增强神经网络（例如神经图灵机、可微神经计算机）以实现对外部知识库的动态访问。
• 设计基于课程的训练流程，使系统能够跨任务组合技能（例如查询知识库、聚合结果）。
• 将模块化参数化与外部知识库结合，实现静态知识与动态演化信息的解耦。

实验结果

研究问题

• RQ1 机器学习模型如何在不遗忘先前获取知识的前提下，从新任务中顺序学习？
• RQ2 何种架构设计能够在保持先前任务性能的同时，实现高效的反向知识迁移？
• RQ3 终身学习系统如何在实时环境中有效查询并集成外部动态知识源？
• RQ4 基于适配器的微调在最小化参数更新的同时，能在多大程度上维持跨任务的性能？
• RQ5 技能组合与课程学习在实现终身学习中的泛化与可扩展性方面发挥何种作用？

主要发现

• 基于适配器的微调在保持原始预训练模型权重冻结的同时，实现了下游任务的优异性能，从而支持紧凑且可扩展的终身学习系统。
• 采用适配器的模块化架构通过允许对特定知识模块进行选择性更新，支持增量学习和反向知识迁移。
• 与外部知识库的集成使系统能够回答时效性查询（例如当前天气），而静态模型无法处理此类问题。
• 如可微神经计算机等记忆增强网络支持对外部信息的动态访问，增强了在现实场景中的适应能力。
• 基于课程的训练使系统能够通过组合先前获取的技能，学习复杂且多步骤的推理任务。
• 模块化参数化与外部知识访问的结合，为动态环境中终身学习提供了可扩展的归纳偏置。