[论文解读] A Multi-View Embedding Space for Modeling Internet Images, Tags, and their Semantics

Yunchao Gong, Qifa Ke+2 more|arXiv (Cornell University)|Dec 18, 2012

Image Retrieval and Classification Techniques被引用 4

一句话总结

本文提出一种三视角嵌入空间，通过核化典型相关分析（KCCA）联合建模视觉特征、文本标签和高层图像语义，显著提升了跨模态检索的准确性。通过引入语义标签——无论是真实标签还是从标签自动聚类得到的——该方法在三个大规模数据集上实现了图像到图像、标签到图像以及图像到标签搜索的优越性能，相比两视角基线方法有显著提升。

ABSTRACT

This paper investigates the problem of modeling Internet images and associated text or tags for tasks such as image-to-image search, tag-to-image search, and image-to-tag search (image annotation). We start with canonical correlation analysis (CCA), a popular and successful approach for mapping visual and textual features to the same latent space, and incorporate a third view capturing high-level image semantics, represented either by a single category or multiple non-mutually-exclusive concepts. We present two ways to train the three-view embedding: supervised, with the third view coming from ground-truth labels or search keywords; and unsupervised, with semantic themes automatically obtained by clustering the tags. To ensure high accuracy for retrieval tasks while keeping the learning process scalable, we combine multiple strong visual features and use explicit nonlinear kernel mappings to efficiently approximate kernel CCA. To perform retrieval, we use a specially designed similarity function in the embedded space, which substantially outperforms the Euclidean distance. The resulting system produces compelling qualitative results and outperforms a number of two-view baselines on retrieval tasks on three large-scale Internet image datasets.

研究动机与目标

• 为解决两视角CCA在建模互联网图像与标签时的局限性，通过引入高层语义作为第三视角。
• 提升在大规模异构数据集上图像到图像、标签到图像以及图像到标签搜索任务的检索准确性。
• 开发一种可扩展且灵活的框架，支持通过统一嵌入空间实现多种跨模态检索场景。
• 探索监督与无监督方法以获取第三重语义视图，包括聚类标签以发现潜在语义主题。
• 设计一种专门的相似度函数，用于嵌入空间，其性能优于标准欧氏距离，以实现更优的检索效果。

提出的方法

• 该方法使用核化典型相关分析（KCCA）将视觉特征、文本标签和语义标签映射到共享潜在空间，以最大化三者之间的相关性。
• 在监督学习中，第三视角由真实标签（如单一类别或多个非互斥关键词）生成。
• 在无监督学习中，通过将标签特征聚类为语义主题，将这些主题用作第三视角。
• 结合多种强视觉特征（如SIFT、GIST、颜色直方图），并通过显式核近似实现非线性映射，以增强表征能力。
• 设计了一种适用于嵌入空间的自定义相似度函数，其性能优于欧氏距离，能更好地捕捉语义一致性。
• 该框架支持灵活的检索：图像查询可检索相似图像，标签查询可检索相关图像，图像查询还可检索描述性标签（实现自动标注）。

实验结果

研究问题

• RQ1 将高层图像语义作为第三视角引入，是否能显著提升跨模态检索性能，超越两视角CCA模型？
• RQ2 对标签进行无监督语义聚类，在发现有意义语义主题方面是否有效，能否增强嵌入空间？
• RQ3 所提出的嵌入空间相似度函数是否在检索任务中显著优于欧氏距离？
• RQ4 三视角嵌入模型是否能在单一统一框架内有效处理多样化的检索场景——包括图像到图像、标签到图像以及图像到标签？
• RQ5 在大规模、噪声较多的互联网图像数据集中，引入语义标签在多大程度上能提升性能？

主要发现

• 在NUS-WIDE数据集上，所提出的三视角CCA模型在图像到标签检索（K2I）任务中达到41.75%的精度，显著优于两视角CCA（V+T）基线的12.66%和CCA（V+K）模型的44.43%。
• 在INRIA-Websearch数据集上，三视角模型（V+T+K）在标签到图像检索任务中达到32.76%的precision@20，超过两视角CCA（V+T）基线的25.67%。
• 采用基于聚类的语义视图的无监督方法（V+T+C）在标签到图像检索中达到13.61%的precision@20，表明无需真实标签即可通过自动发现的语义提升检索性能。
• 定性结果表明，与两视角CCA相比，三视角嵌入空间在潜在空间中实现了更好的类别分离，如图3所示。
• 所设计的嵌入空间自定义相似度函数在所有数据集和检索任务中均持续优于欧氏距离，证实其在捕捉语义关系方面的有效性。
• 该方法支持有效的图像自动标注，系统可为给定图像检索相关标签，并支持通过加权不同关键词实现交互式查询调整。