[论文解读] Continual HyperTransformer: A Meta-Learner for Continual Few-Shot Learning

Max Vladymyrov, Andrey Zhmoginov+1 more|arXiv (Cornell University)|Jan 11, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出持续超变换器（CHT），一种元学习器，利用超变换器（HyperTransformer）从少样本支持集递归生成并更新特定任务的CNN权重，实现无灾难性遗忘的持续少样本学习。通过采用原型损失来保持跨任务的类别原型，CHT实现了正向的负向迁移，并在任务增量和类别增量场景下均表现出良好的泛化能力，即使在测试任务多于训练任务的情况下，也优于基线模型。

ABSTRACT

We focus on the problem of learning without forgetting from multiple tasks arriving sequentially, where each task is defined using a few-shot episode of novel or already seen classes. We approach this problem using the recently published HyperTransformer (HT), a Transformer-based hypernetwork that generates specialized task-specific CNN weights directly from the support set. In order to learn from a continual sequence of tasks, we propose to recursively re-use the generated weights as input to the HT for the next task. This way, the generated CNN weights themselves act as a representation of previously learned tasks, and the HT is trained to update these weights so that the new task can be learned without forgetting past tasks. This approach is different from most continual learning algorithms that typically rely on using replay buffers, weight regularization or task-dependent architectural changes. We demonstrate that our proposed Continual HyperTransformer method equipped with a prototypical loss is capable of learning and retaining knowledge about past tasks for a variety of scenarios, including learning from mini-batches, and task-incremental and class-incremental learning scenarios.

研究动机与目标

• 解决持续少样本学习中灾难性遗忘的问题，即任务按顺序到达且仅有少量标注样本。
• 开发一种元学习器，仅使用支持集输入即可实时更新特定任务的CNN权重，而无需重新训练。
• 通过单一统一架构，实现对任务增量和类别增量学习场景的有效泛化。
• 证明模型能够保持对过去任务的知识，并通过正向负向迁移在新任务学习过程中提升对旧任务的性能。
• 评估模型在多领域少样本学习中的鲁棒性，其中任务来自不同的图像分布。

提出的方法

• 该方法使用超变换器（HT）直接从少样本支持集生成特定任务的CNN权重，将元学习器（变换器）与特定任务学习器（CNN）解耦。
• CHT递归地将先前生成的CNN权重θₜ₋₁与新的支持集S⁽ᵗ⁾一同作为输入，以生成当前任务的更新权重θₜ。
• 损失函数从交叉熵修改为原型损失，以在嵌入空间中学习类别原型，从而实现对所有过去和当前任务的联合优化。
• 随着新任务的到来，原型被逐步更新，预测基于嵌入空间中最近原型分类进行。
• 该模型作为递归系统运行，允许在任意时刻t ≤ T进行推理，且性能随T增加而提升。
• 该架构端到端训练，以最小化所有先前任务的查询集损失之和，确保知识保留。

Figure 1: In few-shot continual learning, the model learns from $T$ tasks sequentially. For the first task (task $0$ ), the CNN weights $\theta_{0}$ are generated using only the support set $\smash{S^{(0)}}$ . For each subsequent task $t$ , the Continual HyperTransformer ( CHT ) uses the support set

实验结果

研究问题

• RQ1 能否将超变换器适配用于持续少样本学习，且不产生灾难性遗忘？
• RQ2 所提出的方法是否实现正向负向迁移，即在学习新任务时，旧任务的性能是否得到提升？
• RQ3 单一CHT模型能否在任务增量和类别增量学习场景下均实现有效泛化？
• RQ4 当在比训练时更多的任务上进行测试时，模型表现如何，特别是在多领域少样本设置下？
• RQ5 与标准交叉熵相比，使用原型损失是否能提升持续少样本学习中的泛化能力和知识保留？

主要发现

• CHT实现了正向负向迁移，早期任务的性能在训练更多任务后得到提升，尤其在小型模型中表现明显。
• 在Omniglot数据集上，CHT在T=5个任务上训练的表现优于MergedHT基线模型，尽管MergedHT从一开始就可访问所有任务信息。
• 在多领域少样本学习中，CHT在任务0上达到56.2%的准确率，在任务1上达到55.2%，分别领先ConstPN近3%（分别为53%和52.8%）。
• 当在比训练时更多的任务上进行测试时，CHT仅表现出轻微的性能下降，表明其具备强大的外推能力。
• 该模型在任务增量和类别增量设置下均保持高性能，两种场景下的结果相当。
• 当CHT在更多任务T上进行训练时，特定权重θₜ的性能得到提升，证明了更广泛预训练的价值。

Figure 2: The information flow of the HyperTransformer ( HT ) model ( left ) compared to the proposed Continual HyperTransformer ( CHT ) model ( right ). In the original HT , the input weight embeddings are initialized with empty placeholders. In contrast, the proposed CHT model incorporates informa