[论文解读] How to Reuse and Compose Knowledge for a Lifetime of Tasks: A Survey on Continual Learning and Functional Composition

Jorge A. Mendez, Eric Eaton|arXiv (Cornell University)|Jul 15, 2022

Clinical Reasoning and Diagnostic Skills被引用 9

一句话总结

本综述通过倡导持续知识获取中的功能组合性，统一了终身学习与组合学习。它提出，通过结构化、模块化表示学习的可重用、可组合知识单元，可在减轻灾难性遗忘的同时实现高效的正向与反向迁移，为通过组合实现跨任务泛化的终身AI智能体提供了一条可行路径。

ABSTRACT

A major goal of artificial intelligence (AI) is to create an agent capable of acquiring a general understanding of the world. Such an agent would require the ability to continually accumulate and build upon its knowledge as it encounters new experiences. Lifelong or continual learning addresses this setting, whereby an agent faces a continual stream of problems and must strive to capture the knowledge necessary for solving each new task it encounters. If the agent is capable of accumulating knowledge in some form of compositional representation, it could then selectively reuse and combine relevant pieces of knowledge to construct novel solutions. Despite the intuitive appeal of this simple idea, the literatures on lifelong learning and compositional learning have proceeded largely separately. In an effort to promote developments that bridge between the two fields, this article surveys their respective research landscapes and discusses existing and future connections between them.

研究动机与目标

• 弥合终身学习与组合学习之间的差距，这两个领域在很大程度上独立发展。
• 阐明功能组合性如何在持续学习中实现对过去和未来任务的知识重用。
• 提出组合表示——即模块化、可重用的组件——可减少灾难性遗忘并提升正向迁移。
• 通过统一框架分析现有终身学习与组合学习方法，凸显其协同效应与开放挑战。
• 倡导转向显式学习组合性知识结构，以支持可扩展的长期保留与泛化。

提出的方法

• 沿六个维度对现有终身学习与组合学习工作进行综述与分类：组合类型、终身学习设置、机制、给定结构、结构类型与领域。
• 将持续学习建模为非平稳分布下的任务序列，强调正向与反向迁移。
• 引入功能组合作为机制，其中任务被分解为可重用、可组合的功能（如“定位”、“检索”、“导航”），可被重新组合。
• 强调学习模块化、任务特定组件（如技能发现、超网络、模块化强化学习）作为实现组合式终身学习的路径。
• 提出知识应以自包含、可重用单元的形式表示，可在推理时组合以解决新任务。
• 通过将“搜索与检索”与“导航”组合以递送订书机为例，说明组合如何实现对新任务的快速适应。

实验结果

研究问题

• RQ1 如何利用功能组合性来提升终身学习系统中的知识重用？
• RQ2 现有终身学习与组合学习范式之间的关键差异与协同效应是什么？
• RQ3 组合表示在多大程度上可减少灾难性遗忘并提升反向迁移？
• RQ4 哪些机制可实现知识的可扩展、长期保留，同时避免无限内存增长？
• RQ5 如何发现并组合模块化、可重用组件，以从简单、已学习的功能解决新颖、复杂任务？

主要发现

• 大多数终身学习方法并未显式学习组合结构，而大多数组合学习工作则在静态多任务或少样本设置中运行。
• 功能组合性通过在新任务中重用模块化组件，实现高效的正向迁移，例如将“导航”与“检索”组合用于递送任务。
• 当未来知识改善过去任务的模型时，反向迁移得到增强，表明组合表示可同时支持正向与反向知识迁移。
• 组合表示通过实现知识组件的选择性保留与模块化更新，减少灾难性遗忘。
• 超网络、模块化强化学习与可微神经模块等方法在学习可重用、可组合功能方面展现出前景。
• 终身学习与组合学习的整合仍处于初级阶段，代表性挑战包括表征学习、泛化能力与可扩展性。