[论文解读] Lightweight Learner for Shared Knowledge Lifelong Learning

Yunhao Ge, Yuecheng Li+13 more|arXiv (Cornell University)|May 24, 2023

COVID-19 diagnosis using AI被引用 6

一句话总结

本文提出共享知识终身学习（SKILL），一种去中心化框架，多个智能体并行学习任务，并通过轻量级、任务特定的模块以及共享的‘任务锚点’在公共潜在空间中共享知识。所提出的轻量级学习器（LLL）在具有挑战性的SKILL-102数据集（102个图像分类任务，5,033个类别）上实现了最先进准确率，同时实现了近乎完美的并行化和最小的灾难性遗忘。

ABSTRACT

In Lifelong Learning (LL), agents continually learn as they encounter new conditions and tasks. Most current LL is limited to a single agent that learns tasks sequentially. Dedicated LL machinery is then deployed to mitigate the forgetting of old tasks as new tasks are learned. This is inherently slow. We propose a new Shared Knowledge Lifelong Learning (SKILL) challenge, which deploys a decentralized population of LL agents that each sequentially learn different tasks, with all agents operating independently and in parallel. After learning their respective tasks, agents share and consolidate their knowledge over a decentralized communication network, so that, in the end, all agents can master all tasks. We present one solution to SKILL which uses Lightweight Lifelong Learning (LLL) agents, where the goal is to facilitate efficient sharing by minimizing the fraction of the agent that is specialized for any given task. Each LLL agent thus consists of a common task-agnostic immutable part, where most parameters are, and individual task-specific modules that contain fewer parameters but are adapted to each task. Agents share their task-specific modules, plus summary information ("task anchors") representing their tasks in the common task-agnostic latent space of all agents. Receiving agents register each received task-specific module using the corresponding anchor. Thus, every agent improves its ability to solve new tasks each time new task-specific modules and anchors are received. On a new, very challenging SKILL-102 dataset with 102 image classification tasks (5,033 classes in total, 2,041,225 training, 243,464 validation, and 243,464 test images), we achieve much higher (and SOTA) accuracy over 8 LL baselines, while also achieving near perfect parallelization. Code and data can be found at https://github.com/gyhandy/Shared-Knowledge-Lifelong-Learning

研究动机与目标

• 为解决顺序性、单智能体终身学习的局限性，实现多个智能体之间的并行、去中心化学习。
• 设计一种可扩展、高效的共享知识机制，以最小化通信成本并避免灾难性遗忘。
• 通过去中心化地整合共享知识，使所有智能体最终能够掌握所有任务。
• 通过并行化实现显著加速，同时在大规模、复杂的终身学习任务中保持高准确率。

提出的方法

• 每个智能体使用固定的、与任务无关的主干网络（在ImageNet上预训练）来表示共享知识，从而最小化任务特定参数的增长。
• 任务特定知识通过轻量级、可适应的分类头编码，其中引入有益偏差（BB）以缓解领域差距。
• 智能体仅共享其任务特定模块和‘任务锚点’——即在公共潜在空间中表示任务的全局表征——从而实现高效的知识迁移。
• 接收方智能体通过对应锚点注册新模块，实现无需微调即可逐步提升解决新任务的能力。
• 基于GMMC/MAHA的任务映射器可在无需任务标签的情况下实现锚点匹配，利用视觉-语义嵌入对新任务进行分类。
• 知识整合是去中心化的：随着智能体不断接收来自其他智能体的模块和锚点，其自身能力逐步提升，最终收敛为完全一致且功能完备的模型。

实验结果

研究问题

• RQ1 去中心化的终身学习智能体群体是否能比顺序性单智能体方法实现更快、更可扩展的学习？
• RQ2 如何在智能体之间紧凑地表示和共享知识，以最小化通信开销，同时保持高准确率？
• RQ3 采用固定主干和按需偏差的轻量级模块化架构，是否能有效缓解大规模终身学习中的灾难性遗忘？
• RQ4 共享潜在空间中的任务锚点在多大程度上能实现无需标签的准确任务识别与知识整合？
• RQ5 所提出的SKILL框架是否能在复杂多任务基准上实现接近完美的并行化加速，同时达到最先进性能？

主要发现

• 所提出的轻量级学习器（LLL）在SKILL-102基准上实现了最先进准确率，优于8种成熟的终身学习基线方法。
• 该框架实现了近乎完美的并行化，N个智能体下至少实现0.5×N的加速，显著优于顺序基线方法。
• 有益偏差（BB）的使用减少了领域差距干扰，在ImageNet分布差异较大的任务上性能更优。
• GMMC/MAHA任务映射器在将新任务匹配到已有任务时准确率超过84%，实现了无需任务标签的有效去中心化知识整合。
• 模型在大规模任务上具有良好的可扩展性：在102项任务、共5,033个类别的数据上训练可行，参数增长极小且效率高。
• 采用固定主干与轻量级、按需激活的分类头，实现了最小的灾难性遗忘，并支持智能体间高效的知识共享。