[论文解读] A Visual Embedding for the Unsupervised Extraction of Abstract Semantics

Dario García-Gasulla, Béjar, J.+5 more|arXiv (Cornell University)|Jul 31, 2015

Multimodal Machine Learning Applications参考文献 18被引用 3

一句话总结

本文提出一种方法，通过使用GoogLeNet对图像类别创建高维稀疏向量嵌入，从深度神经网络特征中提取抽象视觉语义。结果表明，这些嵌入能够捕捉语义关系——聚类语义相似的概念（例如118种狗品种），并无语言监督地分离高层级类别（如生物与非生物）——无需语言监督，从而为视觉推理和认知系统提供潜在应用。

ABSTRACT

Vector-space word representations obtained from neural network models have been shown to enable semantic operations based on vector arithmetic. In this paper, we explore the existence of similar information on vector representations of images. For that purpose we define a methodology to obtain large, sparse vector representations of image classes, and generate vectors through the state-of-the-art deep learning architecture GoogLeNet for 20K images obtained from ImageNet. We first evaluate the resultant vector-space semantics through its correlation with WordNet distances, and find vector distances to be strongly correlated with linguistic semantics. We then explore the location of images within the vector space, finding elements close in WordNet to be clustered together, regardless of significant visual variances (e.g. 118 dog types). More surprisingly, we find that the space unsupervisedly separates complex classes without prior knowledge (e.g. living things). Afterwards, we consider vector arithmetics. Although we are unable to obtain meaningful results on this regard, we discuss the various problem we encountered, and how we consider to solve them. Finally, we discuss the impact of our research for cognitive systems, focusing on the role of the architecture being used.

研究动机与目标

• 探索深度神经网络特征是否能够编码类似于自然语言处理中词向量的抽象视觉语义。
• 开发一种从预训练卷积神经网络特征中生成图像类别高维稀疏向量表示的方法。
• 评估这些视觉嵌入是否在无显式监督下反映语言和概念语义。
• 研究这些嵌入在更高层次认知任务（如概念发现和视觉推理）中的潜力。
• 识别将向量运算应用于视觉嵌入时的局限性，并提出未来改进方向。

提出的方法

• 利用预训练的GoogLeNet（22层卷积神经网络）提取数据集中每张图像所有层的激活值。
• 对所有层的特征激活进行聚合与归一化，为每个图像类别生成单一的高维向量。
• 为ImageNet中的20,000个图像类别构建一个稀疏的、超过一百万维的向量空间表示。
• 使用聚类算法分析向量空间中的语义结构，基于语义距离评估相似性。
• 通过将向量距离与WordNet语义距离进行相关性分析，评估语义一致性。
• 分析图像类别在嵌入空间中的空间组织，检测抽象概念的无监督聚类。

实验结果

研究问题

• RQ1 深度卷积神经网络特征是否能够编码超越简单分类的抽象视觉语义？
• RQ2 嵌入空间中的向量距离在多大程度上与人工标注的语义距离（如WordNet）相关？
• RQ3 尽管存在视觉差异（如118种狗品种），嵌入空间是否能无监督地聚类语义相关的图像类别？
• RQ4 嵌入空间是否能在未对这类标签进行预先训练的情况下，自然分离出高层级语义类别（如生物与非生物）？
• RQ5 将向量运算（如类比）应用于视觉嵌入存在哪些局限性，以及如何解决？

主要发现

• 学习到的嵌入空间中向量距离与WordNet语义距离表现出强烈相关性，表明嵌入保留了语言语义。
• 语义相似的图像类别（如全部118种狗品种）即使在尺寸、颜色和姿态上存在显著视觉差异，也能够在嵌入空间中聚类在一起。
• 该模型无监督地将高层级类别（如生物与非生物）分离，表明其捕捉到了抽象的非视觉特征。
• 通过将子符号级视觉特征聚合为类似符号的概念表示，嵌入空间展示了表示抽象语义的能力。
• 对视觉嵌入执行的向量运算操作未产生有意义的结果，凸显了将此类操作应用于视觉数据时的挑战。
• 该方法成功地将子符号级像素级数据转化为高层级符号知识，为视觉推理和零样本学习等潜在应用提供了可能。