[论文解读] Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot Learning

Vinay Kumar Verma, Kevin Liang+2 more|arXiv (Cornell University)|Feb 23, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出元持续零样本学习（MCZSL），一种快速、可扩展的方法，通过元学习结合自门控属性与缩放类别归一化，在广义零样本学习（GZSL）和持续GZSL中实现最先进性能，训练速度比基于生成模型的方法快100倍以上，同时在顺序学习设置中有效缓解灾难性遗忘。

ABSTRACT

Zero-shot learning (ZSL) has been shown to be a promising approach to generalizing a model to categories unseen during training by leveraging class attributes, but challenges still remain. Recently, methods using generative models to combat bias towards classes seen during training have pushed the state of the art of ZSL, but these generative models can be slow or computationally expensive to train. Additionally, while many previous ZSL methods assume a one-time adaptation to unseen classes, in reality, the world is always changing, necessitating a constant adjustment for deployed models. Models unprepared to handle a sequential stream of data are likely to experience catastrophic forgetting. We propose a meta-continual zero-shot learning (MCZSL) approach to address both these issues. In particular, by pairing self-gating of attributes and scaled class normalization with meta-learning based training, we are able to outperform state-of-the-art results while being able to train our models substantially faster ($>100\ imes$) than expensive generative-based approaches. We demonstrate this by performing experiments on five standard ZSL datasets (CUB, aPY, AWA1, AWA2 and SUN) in both generalized zero-shot learning and generalized continual zero-shot learning settings.

研究动机与目标

• 为解决现有零样本学习（ZSL）方法依赖昂贵生成模型进行未见类别泛化的局限性。
• 实现持续零样本学习，使模型能够顺序适应新类别，同时避免灾难性遗忘。
• 通过用自门控与归一化机制替代高成本的生成训练，提升鲁棒性与效率。
• 开发一种元学习框架，实现在动态环境中对少样本、未见类别的快速适应。
• 在五个标准基准上，同时实现广义ZSL与持续GZSL的最先进性能。

提出的方法

• 在类别属性嵌入上引入自门控机制，以抑制噪声或无关属性维度，学习鲁棒、类别特定的表征。
• 应用缩放类别归一化（SCN）以缓解对已见类别的偏差，提升零样本泛化能力。
• 采用一阶元学习（如MAML）以实现在持续学习中从少量样本快速适应。
• 使用固定大小的蓄水池存储过去任务的部分样本，实现在无需完整回放情况下的持续学习。
• 将元学习与属性自门控及SCN结合，构建端到端可训练模型以实现联合优化。
• 采用少样本、基于任务的元学习目标进行模型训练，其中每个任务模拟新的类别分布。

实验结果

研究问题

• RQ1 在不依赖生成模型的前提下，属性上的自门控能否提升零样本学习的鲁棒性与泛化能力？
• RQ2 缩放类别归一化能否有效降低广义零样本学习中对已见类别的偏差？
• RQ3 在持续学习设置中，元学习能否实现仅用少量样本对新未见类别进行快速适应？
• RQ4 所提出的MCZSL模型在持续GZSL中的表现相较于强基线方法在多个数据集上的表现如何？
• RQ5 在持续与广义ZSL中，各组件（自门控、SCN、元学习）对整体性能的贡献分别是什么？

主要发现

• MCZSL在五个标准GZSL数据集（CUB、aPY、AWA1、AWA2、SUN）上达到最先进性能，优于以往基于生成模型的方法。
• 该模型训练速度比生成基线方法快100倍以上，同时保持或超越其准确率。
• 在固定持续GZSL中，MCZSL在AWA1上取得53.12的调和平均值，在CUB上取得51.31，消融实验显示若移除元学习，性能下降3.23%。
• 在动态持续GZSL中，MCZSL在CUB、AWA1、AWA2和SUN上分别取得10.92%、7.01%、4.80%和2.30%的绝对性能提升。
• 消融研究证实，自门控在CUB上提升调和平均值1.02%，在AWA1上提升2.04%；而移除类别归一化则使AWA1上的性能下降5.91%。
• 蓄水池大小为每任务类别数的14倍时性能最优，且在固定与动态持续学习协议中均保持一致的性能增益。