[论文解读] Learning Structured Semantic Embeddings for Visual Recognition

Li Dong, Hsin-Ying Lee+3 more|arXiv (Cornell University)|Jun 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 40被引用 9

一句话总结

本文通过引入判别性约束和差异性约束，提出了一种用于视觉识别的结构化语义嵌入方法，以提升图像-文本对齐效果。通过建模类内与类间关系，并保持词嵌入之间的语义关系，该方法在零样本识别任务中达到当前最优性能，在aP&Y数据集上达到54.7%的准确率，在ImageNet上相比DeViSE提升3.4%。

ABSTRACT

Numerous embedding models have been recently explored to incorporate semantic knowledge into visual recognition. Existing methods typically focus on minimizing the distance between the corresponding images and texts in the embedding space but do not explicitly optimize the underlying structure. Our key observation is that modeling the pairwise image-image relationship improves the discrimination ability of the embedding model. In this paper, we propose the structured discriminative and difference constraints to learn visual-semantic embeddings. First, we exploit the discriminative constraints to capture the intra- and inter-class relationships of image embeddings. The discriminative constraints encourage separability for image instances of different classes. Second, we align the difference vector between a pair of image embeddings with that of the corresponding word embeddings. The difference constraints help regularize image embeddings to preserve the semantic relationships among word embeddings. Extensive evaluations demonstrate the effectiveness of the proposed structured embeddings for single-label classification, multi-label classification, and zero-shot recognition.

研究动机与目标

• 为解决离散分类器在捕捉视觉类别间语义关系方面的局限性。
• 通过利用文本数据中的连续语义关系，提升零样本识别性能。
• 显式建模图像嵌入中的类内与类间关系，以增强判别能力。
• 通过差异性约束正则化图像嵌入，以保留词对之间的语义关系。
• 开发一种统一且可扩展的方法，避免昂贵的边界框标注

提出的方法

• 引入基于对比损失和三元组损失的判别性约束，以增强不同图像类别之间的可分性。
• 提出差异性约束，使图像嵌入之间的差异向量与对应词嵌入之间的差异向量对齐。
• 构建一个联合多任务学习框架，结合排序损失、判别性约束与差异性约束。
• 通过调整损失函数以支持多标签图像分类，将模型扩展至多标签场景。
• 使用预训练词嵌入（如Word2Vec）作为语义先验，指导图像嵌入的学习过程。
• 在推理阶段采用最近邻分类，无需测试时微调，确保良好的泛化能力。

实验结果

研究问题

• RQ1 建模图像对之间的成对关系是否能提升视觉-语义嵌入的判别能力？
• RQ2 如何在图像嵌入空间中保持词嵌入之间的语义关系？
• RQ3 判别性约束与差异性约束在提升零样本识别性能方面是否具有互补性？
• RQ4 所提方法是否能在包含数千类别规模的大规模数据集上实现良好泛化？
• RQ5 该模型是否在提升未见类别性能的同时，降低了对已见类别的偏差？

主要发现

• 所提方法在aP&Y数据集上实现了54.7%的零样本识别准确率，相比之前最先进方法提升5.7个百分点。
• 在ImageNet 2010数据集上，该方法在1,000个类别下达到12.4%的flat hit@5准确率，相比DeViSE提升3.4%。
• 同时使用判别性与差异性约束可获得最佳性能，表明二者具有互补性。
• 在aP&Y数据集上，仅使用词嵌入时，模型将基线性能提升8.4%；使用联合嵌入时，提升达7.2%。
• 错误分析显示，误分类主要发生在语义相近的类别之间，如斑马与驴，证实了模型具备良好的语义一致性。
• 该方法在无需边界框标注或测试时微调的情况下，仍能良好泛化至大规模识别任务。