[论文解读] iParaphrasing: Extracting Visually Grounded Paraphrases via an Image

Chenhui Chu, Mayu Otani+1 more|arXiv (Cornell University)|Jun 12, 2018

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出了iParaphrasing这一新任务，通过图像锚定聚类方法提取视觉语境化同义表达（VGPs）——即对同一图像视觉概念的不同短语表达。该方法提出了一种带有图像注意力机制的监督神经网络模型，在Flickr30k Entities数据集上取得了62.35的调整兰德指数（ARI）和84.16的F值，优于现有方法，证明了视觉上下文对于识别同义表达的重要价值。

ABSTRACT

A paraphrase is a restatement of the meaning of a text in other words. Paraphrases have been studied to enhance the performance of many natural language processing tasks. In this paper, we propose a novel task iParaphrasing to extract visually grounded paraphrases (VGPs), which are different phrasal expressions describing the same visual concept in an image. These extracted VGPs have the potential to improve language and image multimodal tasks such as visual question answering and image captioning. How to model the similarity between VGPs is the key of iParaphrasing. We apply various existing methods as well as propose a novel neural network-based method with image attention, and report the results of the first attempt toward iParaphrasing.

研究动机与目标

• 为解决在图像文本描述多样化的情况下，识别描述同一视觉概念的同义表达这一挑战。
• 通过利用视觉语境化同义表达（VGPs）来提升视觉问答和图像字幕等多模态NLP任务的性能。
• 探究视觉上下文如何增强对仅从文本上看模糊或语义多样的同义表达的识别能力。
• 开发并评估一种联合编码文本与视觉特征的神经网络模型，以建模VGPs之间的相似性。

提出的方法

• 将iParaphrasing建模为聚类任务，将描述同一图像区域的短语归为VGPs。
• 应用多种现有的无监督相似度方法：基于短语定位的、基于翻译概率的以及基于嵌入的相似度方法。
• 提出一种新颖的监督神经网络（SNN），通过图像注意力机制将文本特征（如FastText、CCA）与视觉特征相结合，以建模VGPs相似性。
• 利用图像注意力机制在比较短语对时动态加权相关图像区域，从而提升对语义相似但视觉上不同的表达的区分能力。
• 采用SNN与SNN+图像模型的晚期融合集成方法，结合纯文本与多模态建模的优势。
• 在Flickr30k Entities数据集上训练并评估模型，其中实体已与图像区域对齐，从而支持监督式VGPs提取。

实验结果

研究问题

• RQ1 视觉上下文是否能显著提升对语义等价但文本表达多样的同义表达的识别能力，这些表达描述的是同一图像区域？
• RQ2 不同无监督相似度方法（如基于嵌入、基于翻译）在检测视觉语境化同义表达方面的表现如何比较？
• RQ3 带有图像注意力机制的神经网络在VGPs检测中，相较于纯文本或纯视觉基线模型，其性能提升程度如何？
• RQ4 哪些类型的同义表达对视觉信息最为受益，而在哪些情况下视觉信号可能导致性能下降？
• RQ5 噪声短语嵌入和错误的注意力机制如何导致VGPs检测中的误报？

主要发现

• 带有图像注意力机制的SNN+图像模型表现最佳，调整兰德指数（ARI）达到62.35，F值达到84.16，优于所有其他方法。
• 图像注意力在约50%的人像相关同义表达检测中提升了性能，这些表达在文本上差异显著但指向同一视觉实体。
• 在约30%的非人物实体（如场景或物体）中，视觉上下文有助于识别同义表达，但注意力准确率存在差异。
• 在约20%的情况下，视觉信息导致性能下降，尤其当注意力错误定位到语义模糊区域时（如将“window”误认为“shop”）。
• 误报通常由噪声短语嵌入（如“boots”与“high heels”在嵌入空间中过于接近）或注意力错误聚焦于相似图像区域引起。
• SNN与SNN+图像模型的集成进一步提升了性能，表明纯文本建模与多模态建模具有互补优势。