[论文解读] Flickr30k Entities: Collecting Region-to-Phrase Correspondences for Richer Image-to-Sentence Models

Bryan A. Plummer|arXiv (Cornell University)|May 19, 2015

Multimodal Machine Learning Applications参考文献 64被引用 56

一句话总结

本文提出了 Flickr30k Entities，这是一个大规模数据集，在 Flickr30k 图像字幕基准之上增加了 244,035 个共指链和 275,775 个边界框，将字幕中的短语与图像中的特定区域关联起来。作者提出了一种基于图像-文本嵌入、目标检测器、颜色分类和大小偏置的强基线模型用于短语定位，尽管在下游检索任务中的性能提升有限，但该模型仍取得了高精度，凸显了将语言定位到视觉区域的挑战。

ABSTRACT

The Flickr30k dataset has become a standard benchmark for sentence-based image description. This paper presents Flickr30k Entities, which augments the 158k captions from Flickr30k with 244k coreference chains, linking mentions of the same entities across different captions for the same image, and associating them with 276k manually annotated bounding boxes. Such annotations are essential for continued progress in automatic image description and grounded language understanding. They enable us to define a new benchmark for localization of textual entity mentions in an image. We present a strong baseline for this task that combines an image-text embedding, detectors for common objects, a color classifier, and a bias towards selecting larger objects. While our baseline rivals in accuracy more complex state-of-the-art models, we show that its gains cannot be easily parlayed into improvements on such tasks as image-sentence retrieval, thus underlining the limitations of current methods and the need for further research.

研究动机与目标

• 解决图像字幕数据集中缺乏将文本短语与视觉区域精确关联的详细、可定位的标注问题。
• 通过提供跨字幕中实体提及的共指链和边界框，实现视觉语言模型中更精确的语言定位。
• 建立一个新的短语定位基准，这是实现组合式视觉理解与可定位语言生成的关键步骤。
• 探究改进的短语定位是否能转化为图像-句子检索和字幕生成中的可测量性能提升。
• 提供一个丰富标注的数据集，以支持视觉问答、跨字幕共指和视觉显著性建模等研究。

提出的方法

• 采用众包标注流程，分为两个阶段：共指解析和边界框绘制，通过原子化任务确保质量和效率。
• 使用图像-文本嵌入对齐视觉与语言表征，并结合目标检测器定位常见实体。
• 引入颜色分类器以提升对颜色特定短语的定位准确性。
• 施加对较大边界框的偏好，以优先选择更显著且更可能正确的检测结果。
• 将短语定位建模为检索任务，采用结合图像-句子相似度与区域-短语对齐的评分函数。
• 在评分函数中提出一种归一化项，以处理包含多个实体的长句子，从而提升对复杂短语的性能。

实验结果

研究问题

• RQ1 能否仅通过图像-文本嵌入和目标检测器等简单、模块化组件，构建一个在短语定位任务上表现优异的基线模型？
• RQ2 短语定位性能的提升在多大程度上能转化为图像-句子检索性能的增益？
• RQ3 跨多个字幕的共指链在将模糊或复数提及定位到特定图像区域方面起到什么作用？
• RQ4 当前模型在区分合理但错误的定位结果方面存在哪些局限性，尤其是在复杂场景中？
• RQ5 区域-短语对应关系是否能提升在存在多个合理但错误句子情况下的图像-句子检索鲁棒性？

主要发现

• 所提出的短语定位基线模型取得了高精度，与更复杂的最先进模型相当，证明了简单、模块化组件的有效性。
• 尽管定位性能出色，但其在图像-句子检索任务中的性能增益并不显著，表明定位与检索性能之间存在差距。
• 全局图像-句子 CCA 模型常检索出合理但错误的句子，而区域-短语模型在复杂场景中难以做出精细区分。
• 在存在模糊或语义相似的短语时（例如 '戴眼镜的男人' 与 '穿戏装眼镜的女人'），模型难以区分正确与错误的定位结果。
• 评分函数中的归一化项提升了对包含多个实体的长句子的性能，显示出其在处理组合性短语方面的实用性。
• 定性分析表明，即使区域-短语对齐准确，模型仍无法捕捉全局场景上下文，如空间关系和物体角色，而这些对正确推理至关重要。