[论文解读] Learning a Deep Embedding Model for Zero-Shot Learning

Li Zhang, Tao Xiang+1 more|arXiv (Cornell University)|Nov 15, 2016

Multimodal Machine Learning Applications参考文献 53被引用 16

一句话总结

本文提出了一种用于零样本学习的深度嵌入模型，该模型使用卷积神经网络（CNN）特征空间作为嵌入空间，而非语义或中间空间，以缓解中心度问题并提升最近邻搜索性能。通过端到端训练一个深度神经网络，直接将语义描述（如属性、句子）映射到视觉特征，该模型在 ILSVRC 2012/2010 上实现了最先进性能，hit@5 准确率达到 25.7%，显著优于先前方法。

ABSTRACT

Zero-shot learning (ZSL) models rely on learning a joint embedding space where both textual/semantic description of object classes and visual representation of object images can be projected to for nearest neighbour search. Despite the success of deep neural networks that learn an end-to-end model between text and images in other vision problems such as image captioning, very few deep ZSL model exists and they show little advantage over ZSL models that utilise deep feature representations but do not learn an end-to-end embedding. In this paper we argue that the key to make deep ZSL models succeed is to choose the right embedding space. Instead of embedding into a semantic space or an intermediate space, we propose to use the visual space as the embedding space. This is because that in this space, the subsequent nearest neighbour search would suffer much less from the hubness problem and thus become more effective. This model design also provides a natural mechanism for multiple semantic modalities (e.g., attributes and sentence descriptions) to be fused and optimised jointly in an end-to-end manner. Extensive experiments on four benchmarks show that our model significantly outperforms the existing models. Code is available at https://github.com/lzrobots/DeepEmbeddingModel_ZSL

研究动机与目标

• 为解决现有端到端深度 ZSL 模型性能不佳的问题，尽管理论上具有优势，但其表现仍不及非深度基线方法。
• 探究嵌入空间的选择（特别是视觉空间与语义或中间空间）是否对 ZSL 性能产生显著影响。
• 开发一种灵活的端到端深度学习框架，可在统一的嵌入空间中联合优化多种语义模态（如属性和句子）。
• 通过选择 CNN 特征空间作为嵌入空间，减少最近邻搜索中的中心度问题，从而保留数据方差。

提出的方法

• 该模型使用深度神经网络将语义表示（如属性或句子嵌入）直接映射到预训练 CNN 的输出特征空间，使视觉特征空间成为嵌入空间。
• 网络采用最小二乘损失函数进行端到端训练，以最小化投影后的语义向量与对应视觉特征之间的距离。
• 在网络中集成多模态融合机制，以在单一嵌入空间中联合优化多种语义输入（如属性和句子描述）。
• 该模型采用双分支结构：一个分支处理语义输入（如通过 RNN 或 word2vec），另一分支处理视觉特征，其输出通过全连接层投影到视觉空间。
• 该框架支持基于属性和基于句子的语义输入，可灵活适应不同 ZSL 设置。
• 理论与实证分析表明，使用视觉空间作为嵌入空间可减少中心度问题，因为它保留了视觉特征的方差，避免了向高维语义空间投影所导致的压缩。

实验结果

研究问题

• RQ1 与使用语义或中间空间相比，使用 CNN 视觉特征空间作为嵌入空间是否能显著减少中心度问题？
• RQ2 能否通过端到端深度学习模型将语义描述直接映射到视觉特征，从而超越非深度或非端到端的 ZSL 模型？
• RQ3 嵌入空间的选择如何影响不同基准测试中零样本分类的性能？
• RQ4 所提出的模型能否在单一、联合优化的嵌入空间中有效融合多种语义模态（如属性和句子描述）？
• RQ5 在不同损失函数和数据集上，使用视觉空间作为嵌入空间所带来的性能提升是否具有鲁棒性？

主要发现

• 在 ILSVRC 2012/2010 基准测试的常规设置下，所提模型的 hit@5 准确率达到 25.7%，显著优于先前最先进方法 ConSE（15.5%）。
• 在 AwA 数据集上，模型达到 11.0% 的 hit@1 和 25.7% 的 hit@5，超越所有先前方法，包括 DeViSE（5.2% 和 12.8%）和 SS-Voc（9.5% 和 16.8%）。
• 当嵌入空间从视觉空间更改为语义空间时，AwA 上的性能下降了 26.1%，表明嵌入空间选择具有关键影响。
• 使用视觉特征空间时，中心度问题显著减少：N1 偏度得分为 -0.4834（视觉空间）对比 0.4162（语义空间），表明中心节点形成更少。
• 即使使用简单的线性岭回归模型，以视觉空间作为嵌入空间，其在 AwA 上的准确率也达到 74.8%，优于语义空间中的深度模型，证实了视觉空间的优势。
• 当使用视觉空间作为嵌入空间时，最小二乘损失函数表现更优，而铰链损失在此配置下表现较差。