[论文解读] Domain-Aware Generalized Zero-Shot Learning.

Yuval Atzmon, Gal Chechik|arXiv (Cornell University)|Dec 24, 2018

Domain Adaptation and Few-Shot Learning参考文献 44被引用 2

一句话总结

本文提出领域感知的广义零样本学习（DAZL），一种概率性、模块化的框架，通过结合已见类别分类器、零样本学习专家和门控网络，提升在已见与未见类别上的泛化能力。通过实现跨模型信息共享，DAZL在AWA、CUB和SUN基准上达到最先进性能，即使模型轻量化且更易训练，仍超越生成模型。

ABSTRACT

Generalized zero-shot learning (GZSL) is the problem of learning a classifier where some classes have samples, and others are learned from side information, like semantic attributes or text description, in a zero-shot learning fashion (ZSL). A major challenge in GZSL is to learn consistently for those two different domains. Here we describe a probabilistic approach that breaks the model into three modular components, and then combines them in a consistent way. Specifically, our model consists of three classifiers: A model that softly decides if a sample is from a class and two experts: a ZSL expert, and an expert model for seen classes. We address two main difficulties in this approach: How to provide an accurate estimate of the gating probability without any training samples for unseen classes; and how to use an expert predictions when it observes samples outside of its domain. The key insight in our approach is to pass information between the three models to improve each others accuracy, while keeping the modular structure. We test our approach, Domain-Aware GZSL (DAZL) on three standard GZSL benchmark datasets (AWA, CUB, SUN), and find that it largely outperforms state-of-the-art GZSL models. DAZL is also the first model that closes the gap and surpasses the performance of generative models for GZSL, even-though it is a light-weight model that is much easier to train and tune.

研究动机与目标

• 为解决广义零样本学习（GZSL）中的性能一致性挑战，即模型需在未见类别无训练数据的情况下对已见和未见类别进行分类。
• 通过模块化架构显式建模已见与未见类别之间的领域偏移，提升零样本泛化能力。
• 开发一种轻量化、可训练的框架，在无需大量超参数调优的情况下，超越复杂生成模型的GZSL性能。

提出的方法

• 模型由三个模块化组件构成：已见类别分类器、零样本学习（ZSL）专家，以及估计样本属于已见或未见领域概率的门控网络。
• 门控网络利用语义属性等辅助信息估计领域归属，无需依赖未见类别样本的训练数据。
• 通过在推理过程中允许各专家相互传递信息，实现跨模型信息流动，提升预测准确率。
• 框架采用专家预测的概率组合，门控网络根据领域置信度动态加权输出。
• 模型通过联合目标端到端训练，同时优化分类准确率与领域感知门控。
• 该方法避免生成建模需求，依赖判别性专家与轻量级门控机制。

实验结果

研究问题

• RQ1 当未见类别无任何训练数据时，模型如何准确估计测试样本的领域归属（已见 vs. 未见）？
• RQ2 模块化判别性框架是否能在广义零样本学习中超越复杂生成模型？
• RQ3 如何有效共享已见类别与零样本专家之间的信息以提升整体分类准确率？
• RQ4 在类别不平衡与分布偏移条件下，显式领域感知对GZSL泛化能力有何影响？
• RQ5 轻量化、可训练的模型能否缩小与最先进生成式GZSL方法之间的性能差距？

主要发现

• DAZL在AWA、CUB和SUN广义零样本学习基准数据集上达到最先进性能。
• 该模型超越所有先前的判别性与生成式GZSL模型，包括基于复杂生成架构的模型。
• DAZL缩小了与生成模型的性能差距，甚至在所有三个基准上均超越它们。
• 由于其轻量化、模块化设计，该模型显著更易训练与调优，优于生成式对应模型。
• 跨专家信息共享有效提升了已见与未见类别分类的准确率，尤其在低数据场景下表现更优。
• 门控网络在无需任何未见类别训练样本的情况下，提供了可靠的未见类别领域估计。