[论文解读] Generalized Continual Zero-Shot Learning

Chandan Gautam, Sethupathy Parameswaran+2 more|arXiv (Cornell University)|Nov 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用 10

一句话总结

本文提出了一种广义持续零样本学习（CZSL）框架，使模型能够随着时间推移持续学习未见过的类别，同时保留先前任务的知识。通过结合条件变分自编码器（CVAE）与CADA-VAE，并引入经验回放与知识蒸馏，该方法在仅使用每类1–3个样本的小型情景记忆下，实现了鲁棒性能，在五项ZSL基准测试中，无论在类别增量学习还是非增量学习设置下，均优于基线方法。

ABSTRACT

Recently, zero-shot learning (ZSL) emerged as an exciting topic and attracted a lot of attention. ZSL aims to classify unseen classes by transferring the knowledge from seen classes to unseen classes based on the class description. Despite showing promising performance, ZSL approaches assume that the training samples from all seen classes are available during the training, which is practically not feasible. To address this issue, we propose a more generalized and practical setup for ZSL, i.e., continual ZSL (CZSL), where classes arrive sequentially in the form of a task and it actively learns from the changing environment by leveraging the past experience. Further, to enhance the reliability, we develop CZSL for a single head continual learning setting where task identity is revealed during the training process but not during the testing. To avoid catastrophic forgetting and intransigence, we use knowledge distillation and storing and replay the few samples from previous tasks using a small episodic memory. We develop baselines and evaluate generalized CZSL on five ZSL benchmark datasets for two different settings of continual learning: with and without class incremental. Moreover, CZSL is developed for two types of variational autoencoders, which generates two types of features for classification: (i) generated features at output space and (ii) generated discriminative features at the latent space. The experimental results clearly indicate the single head CZSL is more generalizable and suitable for practical applications.

研究动机与目标

• 为解决传统零样本学习（ZSL）的局限性，即假设训练期间所有已见类别均可用，通过支持从流式数据中持续学习。
• 开发一种实用的广义CZSL设置，其中类别按顺序到达，模型必须在不遗忘先前知识的前提下进行学习。
• 设计一种单头CZSL方法，实现与任务无关的预测，使其更适合实际部署。
• 在两种持续学习设置下评估所提方法：有类别增量学习与无类别增量学习。
• 探究在CZSL中使用真实样本回放与合成特征回放的经验回放的有效性。

提出的方法

• 该方法采用两种变分自编码器变体：条件VAE（CVAE）用于在输出空间生成视觉特征，CADA-VAE用于在潜在空间生成判别性特征。
• 通过小型情景记忆存储先前任务的真实样本，实现经验回放，从而在训练期间实现数据依赖性正则化。
• 应用知识蒸馏以缓解灾难性遗忘，保持模型在先前学习任务上的性能。
• 采用蓄水池采样策略填充情景记忆，确保存储样本的多样性与代表性。
• 模型在单头设置下进行训练，推理时无需任务身份信息，提升了实际应用的适用性。
• 该框架在两种设置下进行评估：（1）无类别增量学习的广义CZSL；（2）采用标准ZSL训练-测试划分的类别增量CZSL。

实验结果

研究问题

• RQ1 在持续零样本学习中，使用真实样本的经验回放与合成特征回放相比表现如何？
• RQ2 单头CZSL模型是否能在顺序任务学习中同时保持对已见类与未见类的高性能？
• RQ3 在情景记忆中存储每类的最优样本数量是多少，才能实现CZSL中可靠的持续学习？
• RQ4 潜在特征的维度如何影响CZSL模型的泛化能力与鲁棒性？
• RQ5 与离线ZSL基线相比，所提CZSL方法在标准基准数据集上的泛化能力如何？

主要发现

• 所提CZSL方法结合仅每类1–3个样本的经验回放，显著优于基线方法，在情景记忆中使用每类3个样本时，未见类别准确率提升超过10%。
• CZSL-CA+res在CUB数据集上表现优异，广义CZSL设置-1中，随着任务数量增加，调和平均准确率持续提升，表明知识保留效果良好。
• 该方法表明，通过在极小情景记忆中反复训练实现数据依赖性正则化，可有效防止过拟合并提升泛化能力，即使记忆规模极小亦然。
• 当潜在维度超过64时性能下降，表明表达能力与紧凑性之间需取得平衡，最优性能出现在50–64维之间。
• 在类别增量学习设置的最后一个任务中，所提CZSL框架与离线ZSL基线相比表现具有竞争力，尽管性能仍落后于理论上限。
• 蓄水池采样在所有采样策略中表现最佳，证明其在维持代表性与多样性记忆内容方面的有效性。