[论文解读] Contextual Visual Similarity

Xiaofang Wang, Kris Kitani+1 more|arXiv (Cornell University)|Dec 8, 2016

Image Retrieval and Classification Techniques参考文献 24被引用 8

一句话总结

本文提出上下文视觉相似性（contextual visual similarity），一种通过图像三元组（查询图像、正样本、负样本）学习特征权重以编码用户定义的相似性关系的方法。通过重新加权图像特征，使查询与正样本之间的距离最小化，同时与负样本的距离最大化，该方法实现了特定属性的图像搜索、视觉类比求解以及无监督属性发现，并在基线方法上取得了显著的性能提升。

ABSTRACT

Measuring visual similarity is critical for image understanding. But what makes two images similar? Most existing work on visual similarity assumes that images are similar because they contain the same object instance or category. However, the reason why images are similar is much more complex. For example, from the perspective of category, a black dog image is similar to a white dog image. However, in terms of color, a black dog image is more similar to a black horse image than the white dog image. This example serves to illustrate that visual similarity is ambiguous but can be made precise when given an explicit contextual perspective. Based on this observation, we propose the concept of contextual visual similarity. To be concrete, we examine the concept of contextual visual similarity in the application domain of image search. Instead of providing only a single image for image similarity search (\eg, Google image search), we require three images. Given a query image, a second positive image and a third negative image, dissimilar to the first two images, we define a contextualized similarity search criteria. In particular, we learn feature weights over all the feature dimensions of each image such that the distance between the query image and the positive image is small and their distances to the negative image are large after reweighting their features. The learned feature weights encode the contextualized visual similarity specified by the user and can be used for attribute specific image search. We also show the usefulness of our contextualized similarity weighting scheme for different tasks, such as answering visual analogy questions and unsupervised attribute discovery.

研究动机与目标

• 为解决视觉相似性中的模糊性，提出一种上下文感知框架，将相似性定义为相对于第三个图像的关系。
• 通过提供正样本和负样本，使用户能够明确说明两幅图像为何相似，从而实现显式且用户主导的相似性定义。
• 开发一种特征重加权机制，学习上下文视觉相似性，而无需依赖预定义的属性或分类器。
• 在多个视觉任务中展示上下文视觉相似性的实用性，包括图像搜索、类比推理和属性发现。

提出的方法

• 该方法使用由查询图像、正样本图像（与查询图像相似）和负样本图像（与两者均不相似）组成的三元组。
• 使用学习到的特征权重向量对图像特征（如来自VGG或AlexNet的特征）进行重加权，以确保在加权特征空间中，查询与正样本接近，而两者与负样本的距离均较远。
• 采用联合优化目标来学习特征权重，通过类似对比损失的公式，最小化查询与正样本之间的距离，同时最大化与负样本的距离。
• 学习到的特征权重编码了用户对相似性的上下文感知理解，例如按类别或颜色的相似性，具体取决于所提供的三元组。
• 通过基于学习到的权重对图像进行排序，该方法支持属性特定的图像搜索。
• 对于视觉类比和无监督属性发现，该方法利用学习到的权重在多个三元组中识别模式，从而基于共享的上下文相似性实现图像聚类。

实验结果

研究问题

• RQ1 能否通过用户提供的图像三元组显式建模相似性的上下文，使视觉相似性更加精确？
• RQ2 如何通过特征重加权来编码用户定义的上下文相似性（例如类别对比颜色），而无需依赖预标注的属性？
• RQ3 与基线方法相比，上下文视觉相似性在属性特定图像搜索中的性能提升程度如何？
• RQ4 所学习的相似性框架能否有效支持视觉类比问答和无监督属性发现？
• RQ5 在学习到的相似性度量下，通过三元组聚类可以发现哪些类型的属性？

主要发现

• 所提出的方法在视觉类比问答任务中显著优于基线，对动作类比和颜色类比的平均召回率均更高。
• 在属性特定图像搜索中，使用pool5特征且k=5时，该方法的平均平均精度（MAP）达到0.565，优于基线的0.320，并且随着k值增加，性能持续提升。
• 在调节正则化参数λ时，该方法在k=5且λ=0.1时达到MAP峰值0.561，表明对超参数选择具有鲁棒性。
• 在无监督属性发现中，116个聚类中有72个被人工标注者认为有意义，其中43个聚类被标记为“白色”，13个为“黑色”，其余为“跑”、“站立”、“游泳”或混合属性。
• 定性结果表明，该方法即使在无先验标注的情况下，也能成功根据共享属性（如颜色、动作或纹理）对图像进行分组。
• 该方法表明，上下文感知的特征重加权能够有效实现零样本属性学习，并在无需显式属性监督的情况下提升下游视觉任务的性能。