[论文解读] Explainable Semantic Space by Grounding Language to Vision with Cross-Modal Contrastive Learning

Yizhen Zhang, Minkyu Choi+2 more|arXiv (Cornell University)|Nov 13, 2021

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出一种双流模型，通过跨模态对比学习将语言表征与视觉信息对齐，使独立的语言模型能够学习到语义可解释、视觉对齐的嵌入表征。所得语义空间呈现出直观且感知上可区分的聚类，支持组合式推理与多模态图像搜索，其性能在 MS COCO 和 Visual Genome 数据集上得到验证。

ABSTRACT

In natural language processing, most models try to learn semantic representations merely from texts. The learned representations encode the distributional semantics but fail to connect to any knowledge about the physical world. In contrast, humans learn language by grounding concepts in perception and action and the brain encodes grounded semantics for cognition. Inspired by this notion and recent work in vision-language learning, we design a two-stream model for grounding language learning in vision. The model includes a VGG-based visual stream and a Bert-based language stream. The two streams merge into a joint representational space. Through cross-modal contrastive learning, the model first learns to align visual and language representations with the MS COCO dataset. The model further learns to retrieve visual objects with language queries through a cross-modal attention module and to infer the visual relations between the retrieved objects through a bilinear operator with the Visual Genome dataset. After training, the language stream of this model is a stand-alone language model capable of embedding concepts in a visually grounded semantic space. This semantic space manifests principal dimensions explainable with human intuition and neurobiological knowledge. Word embeddings in this semantic space are predictive of human-defined norms of semantic features and are segregated into perceptually distinctive clusters. Furthermore, the visually grounded language model also enables compositional language understanding based on visual knowledge and multimodal image search with queries based on images, texts, or their combinations.

研究动机与目标

• 为解决自然语言处理中分布语义的局限性，即缺乏对物理世界的语义对齐，通过整合视觉信息与语言表征学习。
• 开发一种视觉对齐的语言模型，以生成可解释、符合神经生物学原理的语义空间。
• 利用统一的连续语义空间，实现组合式语言理解与多模态图像搜索。
• 证明视觉对齐能够提升基于感知属性的词嵌入聚类效果，并增强与人类语义规范的预测一致性。

提出的方法

• 采用双流架构，包含基于 VGG 的视觉分支与基于 BERT 的语言分支，基于 MS COCO 数据集通过跨模态对比学习进行联合训练。
• 跨模态对比损失通过池化特征的余弦相似度，在共享嵌入空间中对齐图像与文本表征。
• 通过计算视觉特征图与上下文词嵌入之间的匹配图，跨模态注意力模块实现语言查询的视觉对齐。
• 双线性算子利用 Visual Genome 数据集中学习到的关系，推断检索对象之间的视觉关系。
• 最终的语言分支经过微调，作为独立模型用于语义空间分析与多模态搜索。
• 多模态查询通过图像与文本嵌入的加权组合（α ∈ [0,1]）构建，以支持灵活的图像检索。

实验结果

研究问题

• RQ1 通过对比学习实现的视觉对齐是否能生成一个词嵌入具有可解释性且与人类感知及神经生物学知识一致的语义空间？
• RQ2 对齐如何改善基于视觉属性与语义特征的词嵌入聚类效果？
• RQ3 视觉对齐的语言模型能否支持组合式语言理解，例如将 'zebra' 识别为 'striped horse'？
• RQ4 统一的连续语义空间在多大程度上能够支持结合图像与文本查询的多模态图像搜索？

主要发现

• 对齐的语义空间展现出与具体到抽象语义变化一致的主要维度，与人类评分及神经生物学发现相符。
• 词嵌入被组织成感知上可区分的聚类，且在细粒度视觉属性上的聚类准确率更高。
• 该模型的语言分支在预测上与人类定义的语义规范保持一致，表明其可解释性得到提升。
• 不同 α 权重的多模态查询产生逻辑连贯的图像检索结果——例如，随着 α 增大，检索结果从斑马图案逐渐过渡到典型马匹。
• 该模型支持组合式推理，例如通过视觉与语言特征的双线性交互，将 'striped horse' 识别为 'zebra'。
• 该方法表明，图像与文本查询的连续混合可产生直观、渐进的检索结果，验证了共享、视觉对齐语义空间的存在。