[论文解读] Expert Gate: Lifelong Learning with a Network of Experts

Rahaf Aljundi, Punarjay Chakravarty+1 more|arXiv (Cornell University)|Nov 18, 2016

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出Expert Gate，一种终身学习框架，通过门控自编码器在推理时动态选择最相关的专家模型，实现高效、可扩展且内存高效的推理，无需存储历史数据。通过利用任务相关性实现选择性知识迁移和自动专家路由，其在图像和视频预测任务上均优于顺序微调和联合训练。

ABSTRACT

In this paper we introduce a model of lifelong learning, based on a Network of Experts. New tasks / experts are learned and added to the model sequentially, building on what was learned before. To ensure scalability of this process,data from previous tasks cannot be stored and hence is not available when learning a new task. A critical issue in such context, not addressed in the literature so far, relates to the decision which expert to deploy at test time. We introduce a set of gating autoencoders that learn a representation for the task at hand, and, at test time, automatically forward the test sample to the relevant expert. This also brings memory efficiency as only one expert network has to be loaded into memory at any given time. Further, the autoencoders inherently capture the relatedness of one task to another, based on which the most relevant prior model to be used for training a new expert, with finetuning or learning without-forgetting, can be selected. We evaluate our method on image classification and video prediction problems.

研究动机与目标

• 解决在终身学习中无需存储先前训练数据的情况下，如何在推理时选择最相关专家模型的挑战。
• 通过根据输入内容动态将输入路由到最合适的专家网络，实现可扩展的终身学习。
• 通过仅在运行时加载一个专家模型并使用轻量级门控机制，降低内存开销。
• 通过识别最相关的先前专家进行微调或无遗忘学习，提升知识迁移效果。
• 证明自编码器可作为任务识别器，性能媲美判别性分类器，且无需标注数据。

提出的方法

• 构建专家网络，其中每个专家是针对特定任务的神经网络，按顺序在新数据上进行训练。
• 为每个专家训练门控自编码器，以学习任务输入分布的紧凑共享表示。
• 在推理阶段，每个专家的自编码器评估输入，并根据其与训练分布的相似性，将输入路由到最相关的专家。
• 自编码器与对应专家网络端到端联合训练，以确保任务感知的路由机制。
• 利用自编码器重建结果生成的任务相关性分数，指导新专家训练过程中的知识迁移。
• 通过仅微调最相关的先前专家而非所有先前模型，避免灾难性遗忘。

实验结果

研究问题

• RQ1 无数据门控机制是否能在终身学习设置中有效将测试样本路由到最相关的专家模型？
• RQ2 基于自编码器的门控机制在任务识别性能上与使用完整数据训练的判别性分类器相比如何？
• RQ3 自编码器能否用于识别最相关的先前专家以实现知识迁移，从而改善无遗忘学习？
• RQ4 Expert Gate 在准确率和内存效率方面是否优于顺序微调和联合训练？
• RQ5 该门控机制是否能在图像分类和视频预测等多样化任务上实现良好泛化？

主要发现

• 在视频预测任务中，Expert Gate 的平均 L1 距离为 23.4，优于顺序微调（31.1），并匹配联合训练（23.8），且无需访问所有历史数据。
• 在图像分类任务中，Expert Gate 的性能与联合训练相当或更优，同时避免了灾难性遗忘并降低了内存负载。
• 门控自编码器在任务识别准确率上与使用全部数据训练的判别性分类器相当，证明其作为无数据任务识别器的有效性。
• 该系统通过仅在推理时加载一个专家模型，成功降低了内存使用，实现了在资源受限设备上的可扩展性。
• 定性结果表明，与顺序微调相比，Expert Gate 生成的视频预测更准确，尤其在保持车道标记和场景结构方面表现更优。
• 自编码器有效捕捉了任务相关性，实现了对先前专家的智能选择以进行知识迁移，从而提升了泛化能力并减少了遗忘。