[论文解读] Generative Replay-based Continual Zero-Shot Learning

Chandan Gautam, Sethupathy Parameswaran+2 more|arXiv (Cornell University)|Jan 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用 10

一句话总结

本文提出了一种基于生成回放的持续零样本学习方法（GRCZSL），通过使用条件变分自编码器（CVAE）从先前任务的解码器生成合成样本，实现持续、类别增量式的零样本学习，从而缓解灾难性遗忘。该方法在五种基准数据集上，在固定和动态类别增量设置下均取得了最先进性能，显著优于先前方法，调和平均准确率最高提升达8%。

ABSTRACT

Zero-shot learning is a new paradigm to classify objects from classes that are not available at training time. Zero-shot learning (ZSL) methods have attracted considerable attention in recent years because of their ability to classify unseen/novel class examples. Most of the existing approaches on ZSL works when all the samples from seen classes are available to train the model, which does not suit real life. In this paper, we tackle this hindrance by developing a generative replay-based continual ZSL (GRCZSL). The proposed method endows traditional ZSL to learn from streaming data and acquire new knowledge without forgetting the previous tasks' gained experience. We handle catastrophic forgetting in GRCZSL by replaying the synthetic samples of seen classes, which have appeared in the earlier tasks. These synthetic samples are synthesized using the trained conditional variational autoencoder (VAE) over the immediate past task. Moreover, we only require the current and immediate previous VAE at any time for training and testing. The proposed GRZSL method is developed for a single-head setting of continual learning, simulating a real-world problem setting. In this setting, task identity is given during training but unavailable during testing. GRCZSL performance is evaluated on five benchmark datasets for the generalized setup of ZSL with fixed and dynamic (incremental class) settings of continual learning. The existing class setting presented recently in the literature is not suitable for a class-incremental setting. Therefore, this paper proposes a new setting to address this issue. Experimental results show that the proposed method significantly outperforms the baseline and the state-of-the-art method and makes it more suitable for real-world applications.

研究动机与目标

• 为解决现有零样本学习（ZSL）方法在训练时需要所有已见类别数据的局限性，该需求在真实世界流式场景中不切实际。
• 开发一种持续ZSL框架，在无需微调的情况下学习增量类别，同时防止灾难性遗忘。
• 提出一种新的类别增量持续ZSL评估设置，使与离线ZSL基线方法的比较更加公平。
• 证明仅使用前一任务解码器进行生成回放可有效降低内存和计算成本。

提出的方法

• 该方法采用条件变分自编码器（CVAE）利用前一任务的解码器生成先前学习过的已见类别的合成视觉样本。
• 通过在当前任务的真实数据与前一任务CVAE生成的合成数据组合上进行训练，实现生成回放。
• 仅存储当前任务的完整模型和前一任务的解码器，相比完整模型回放显著降低内存占用。
• 模型在单头设置下进行训练，推理时不提供任务标识，模拟真实世界部署场景。
• 引入任务重要性超参数（α）以平衡训练过程中当前任务与前一任务样本的贡献。
• 该框架支持固定和动态类别增量设置，后者允许已见类和未见类均随时间增量增长。

实验结果

研究问题

• RQ1 基于生成回放的方法是否能有效防止在持续零样本学习中因不存储完整模型而导致的灾难性遗忘？
• RQ2 在相同测试划分下，持续ZSL模型的性能与离线非持续模型相比如何？
• RQ3 调整任务重要性（α）对模型保留旧任务知识能力及学习新类别的影响是什么？
• RQ4 所提方法能否处理类别增量学习场景，其中已见类和未见类均随时间增长，而不同于以往方法假设类别集合固定？
• RQ5 仅使用前一解码器进行回放是否能提供足够强的信号以维持对先前学习类别的性能？

主要发现

• 在所有五个基准数据集（CUB、aPY、AWA1、AWA2、SUN）的固定和动态类别增量设置下，GRCZSL均优于所有基线方法。
• 在动态设置下，与基线相比，GRCZSL在CUB数据集上的调和平均准确率显著提升超过8%。
• 在固定设置下，GRCZSL在aPY和SUN数据集上的调和平均准确率分别较基线提升超过1.5%和0.3%。
• 消融研究显示，任务重要性（α）在[0.3, 0.5]范围内时性能最佳，而α=0或α=1时性能最差。
• 尽管性能表现优异，GRCZSL在最后任务上仍落后于离线CVAE的上限性能，表明在终身泛化方面仍有提升空间。
• 模型在各任务中对未见类别的性能保持稳定，mUA（平均未见准确率）与mH（调和平均）趋势相似，证实了零样本泛化的鲁棒性。