[论文解读] Towards Effective Deep Embedding for Zero-Shot Learning

Lei Zhang, Peng Wang+5 more|arXiv (Cornell University)|Aug 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 31被引用 6

一句话总结

本文提出一种双分支深度神经网络，显式学习一个联合嵌入空间，同时具备类内紧凑性和类间可分性，用于零样本学习。通过将视觉嵌入回归至其对应的类别语义表示，并使用可学习分类器强制实现类间区分，该方法在五个标准ZSL基准上达到最先进性能，且通过一种归纳伪标签策略进一步提升性能，有效缓解了模型对已见类别的偏差。

ABSTRACT

Zero-shot learning (ZSL) can be formulated as a cross-domain matching problem: after being projected into a joint embedding space, a visual sample will match against all candidate class-level semantic descriptions and be assigned to the nearest class. In this process, the embedding space underpins the success of such matching and is crucial for ZSL. In this paper, we conduct an in-depth study on the construction of embedding space for ZSL and posit that an ideal embedding space should satisfy two criteria: intra-class compactness and inter-class separability. While the former encourages the embeddings of visual samples of one class to distribute tightly close to the semantic description embedding of this class, the latter requires embeddings from different classes to be well separated from each other. Towards this goal, we present a simple but effective two-branch network to simultaneously map semantic descriptions and visual samples into a joint space, on which visual embeddings are forced to regress to their class-level semantic embeddings and the embeddings crossing classes are required to be distinguishable by a trainable classifier. Furthermore, we extend our method to a transductive setting to better handle the model bias problem in ZSL (i.e., samples from unseen classes tend to be categorized into seen classes) with minimal extra supervision. Specifically, we propose a pseudo labeling strategy to progressively incorporate the testing samples into the training process and thus balance the model between seen and unseen classes. Experimental results on five standard ZSL datasets show the superior performance of the proposed method and its transductive extension.

研究动机与目标

• 解决零样本学习中未见类别样本常被误分类为已见类别的问题。
• 通过显式设计同时满足类内紧凑性与类间可分性的嵌入空间，提升零样本学习的泛化能力。
• 开发一种归纳扩展方法，通过伪标签策略在测试阶段引入信息，减少已见类与未见类之间性能的差异。
• 证明显式学习同时具备紧凑性与可分性准则的联合嵌入空间，相比依赖隐式兼容函数或固定语义/视觉空间的方法，能实现更优的零样本识别性能。

提出的方法

• 设计一个双分支深度神经网络，将视觉样本和类别级语义描述映射到共享的潜在嵌入空间。
• 通过回归损失将视觉嵌入向其对应的类别语义嵌入回归，以强制实现类内紧凑性。
• 通过在嵌入特征上训练分类器以区分不同类别，并使用交叉熵损失强制实现类间可分性。
• 引入一个在联合嵌入空间上运行的可学习分类器头，以确保跨类别的判别性特征。
• 通过一种伪标签策略将方法扩展至归纳设置，迭代地从未见类别中选择并整合高置信度的测试样本到训练过程中。
• 分轮次校准模型，逐步将伪标签化的未见样本加入，以优化嵌入空间，并平衡已见类与未见类的性能。

实验结果

研究问题

• RQ1 在嵌入空间中显式优化类内紧凑性与类间可分性，是否能带来比现有方法更优的零样本泛化性能？
• RQ2 与固定语义或视觉空间并依赖单向映射的先前方法相比，所提方法表现如何？
• RQ3 归纳伪标签策略在多大程度上能缓解零样本学习中模型对已见类别的偏差？
• RQ4 通过伪标签测试样本对嵌入空间进行迭代优化，是否能在无真实标签的情况下提升未见类别的识别准确率？

主要发现

• 所提方法在五个标准零样本学习数据集上达到最先进性能，在常规ZSL与广义ZSL设置下均优于现有方法。
• 归纳扩展方法（Ours_ex）显著提升了未见类别的识别准确率，且在模型校准的各轮次中，未见类性能持续提升。
• 伪标签策略在首轮即对选定的未见类别样本实现超过70%的预测准确率，且在后续轮次中略有提升。
• 该方法在超参数λ的广泛范围内保持稳定，但当λ = 0时性能急剧下降，证实类间可分性正则化对性能至关重要。
• 在归纳校准过程中，已见类别的识别准确率保持稳定，表明尽管引入了测试阶段数据，方法并未降低对已见类的性能。
• 在AwA1上的可视化结果表明，所提出的嵌入空间能更有效地分离未见类别样本，并使其更紧密地对齐于其语义原型，优于基线方法。