[论文解读] A Multi-Head Model for Continual Learning via Out-of-Distribution Replay

Gyuhak Kim, Zixuan Ke+1 more|arXiv (Cornell University)|Aug 20, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 MORE，一种多头持续学习模型，利用分布外（OOD）回放构建任务特定分类器，而无需更新先前任务的参数。通过利用带有适配器模块的预训练 Transformer 并使用硬注意力机制保护已学习权重，MORE 在类别增量学习中实现了最先进准确率，同时自然地支持 OOD 检测。

ABSTRACT

This paper studies class incremental learning (CIL) of continual learning (CL). Many approaches have been proposed to deal with catastrophic forgetting (CF) in CIL. Most methods incrementally construct a single classifier for all classes of all tasks in a single head network. To prevent CF, a popular approach is to memorize a small number of samples from previous tasks and replay them during training of the new task. However, this approach still suffers from serious CF as the parameters learned for previous tasks are updated or adjusted with only the limited number of saved samples in the memory. This paper proposes an entirely different approach that builds a separate classifier (head) for each task (called a multi-head model) using a transformer network, called MORE. Instead of using the saved samples in memory to update the network for previous tasks/classes in the existing approach, MORE leverages the saved samples to build a task specific classifier (adding a new classification head) without updating the network learned for previous tasks/classes. The model for the new task in MORE is trained to learn the classes of the task and also to detect samples that are not from the same data distribution (i.e., out-of-distribution (OOD)) of the task. This enables the classifier for the task to which the test instance belongs to produce a high score for the correct class and the classifiers of other tasks to produce low scores because the test instance is not from the data distributions of these classifiers. Experimental results show that MORE outperforms state-of-the-art baselines and is also naturally capable of performing OOD detection in the continual learning setting.

研究动机与目标

• 通过避免对先前任务分类器进行参数更新，解决类别增量学习（CIL）中的灾难性遗忘问题。
• 在不依赖回放来微调先前模型的前提下，实现有效的持续学习。
• 开发一种方法，能够在持续学习设置中同时实现准确分类和鲁棒的 OOD 检测。
• 利用带有适配器模块的预训练 Transformer 提升性能，同时保留先前任务的知识。
• 证明具有 OOD 意识分类器的多头模型优于单头基于回放的基线方法。

提出的方法

• MORE 使用预训练 Transformer 主干网络，为每个新任务构建独立的任务特定分类头。
• 在每个 Transformer 层中插入可训练的适配器模块，以实现无需修改预训练权重的任务特定适应。
• 记忆缓冲区存储每个任务的一小部分样本，用于训练该任务的新分类器。
• 该分类器被训练为对分布内（IND）样本赋予高置信度，对分布外（OOD）样本赋予低置信度，从而实现 OOD 检测。
• 在训练期间应用硬注意力（掩码）机制，以保护先前任务的重要参数不被更新。
• 在推理阶段，模型选择激活分数最高的分类头，从而实现无需任务 ID 的分类。

实验结果

研究问题

• RQ1 具有任务特定分类器的多头模型是否比单头基于回放的方法更有效地缓解灾难性遗忘？
• RQ2 在记忆缓冲区中使用分布外（OOD）样本是否能同时提升分类准确率和 OOD 检测性能？
• RQ3 通过硬注意力保护先前任务参数是否能提升持续学习中对先前知识的保留？
• RQ4 带有适配器模块的预训练 Transformer 是否能在类别增量学习中实现强性能，同时支持 OOD 检测？
• RQ5 在平均分类准确率和增量准确率方面，所提出方法与最先进基线相比表现如何？

主要发现

• 在 CIFAR10-5T 上，MORE 实现了 89.16% 的平均分类准确率（ACA），优于最佳基线方法 iCaRL（77.51%）。
• 在 CIFAR100-10T 上，MORE 实现了 70.23% 的 ACA 和 69.79% 的 AIA，优于 iCaRL（59.83% ACA，70.00% AIA）及其他最先进方法。
• 在 Tiny-ImageNet-10T 上，MORE 实现了 63.06% 的 ACA 和 58.96% 的 AIA，显著优于 HAT（52.33% ACA，64.96% AIA）。
• MORE 展现出强大的 OOD 检测能力，其分类器对分布内样本产生高分，对分布外样本产生低分。
• 该方法在所有数据集上均保持高性能，所有实验的平均 ACA 为 57.80%，AIA 为 69.32%。
• 消融研究证实，对记忆样本进行 OOD 训练对性能至关重要，移除该组件会导致准确率显著下降。