[论文解读] Deep Visual-Semantic Alignments for Generating Image Descriptions

Andrej Karpathy, Li Fei-Fei|arXiv (Cornell University)|Dec 7, 2014

Multimodal Machine Learning Applications参考文献 58被引用 145

一句话总结

该论文提出了一种深度神经网络模型，通过多模态嵌入空间学习图像区域与自然语言短语之间的视觉-语义对齐，实现了图像-句子检索任务的最先进性能，并通过多模态循环神经网络生成高质量的区域级图像描述，在全图和区域级图像字幕生成任务上均优于检索基线模型。

ABSTRACT

We present a model that generates natural language descriptions of images and their regions. Our approach leverages datasets of images and their sentence descriptions to learn about the inter-modal correspondences between language and visual data. Our alignment model is based on a novel combination of Convolutional Neural Networks over image regions, bidirectional Recurrent Neural Networks over sentences, and a structured objective that aligns the two modalities through a multimodal embedding. We then describe a Multimodal Recurrent Neural Network architecture that uses the inferred alignments to learn to generate novel descriptions of image regions. We demonstrate that our alignment model produces state of the art results in retrieval experiments on Flickr8K, Flickr30K and MSCOCO datasets. We then show that the generated descriptions significantly outperform retrieval baselines on both full images and on a new dataset of region-level annotations.

研究动机与目标

• 生成丰富、自由形式的自然语言图像区域描述，而非依赖固定模板或类别。
• 解决在大规模图像-句子数据集中，当区域位置未知时，学习视觉区域与对应文本短语之间对齐的挑战。
• 开发一种生成模型，能够生成多样化且语境准确的描述，而无需硬编码的语言规则或模板。
• 在通过人工标注收集的新区域级标注数据集上评估模型，实现对描述质量的细粒度评估。

提出的方法

• 利用双向RNN将句子片段编码到与图像区域视觉特征对齐的多模态嵌入空间中。
• 采用结构化排序目标，通过共享嵌入空间学习句子中连续词段与对应图像区域之间的对齐关系。
• 训练一种多模态循环神经网络，通过注意力机制类的机制，基于图像特征和先前生成的词语来条件化词语生成。
• 使用联合嵌入模型在无显式区域标注的图像-句子对上进行训练，以推断图像区域与句子短语之间的潜在对齐关系。
• 采用两阶段方法：首先通过基于排序的模型学习对齐关系；其次在推断出的对齐关系上微调生成RNN。
• 结合CNN提取的图像区域特征与RNN隐藏状态，实现具有上下文感知条件的自回归文本生成。

实验结果

研究问题

• RQ1 深度神经网络模型是否能在无显式区域标注的情况下，有效学习图像区域与自然语言短语之间的视觉-语义对齐？
• RQ2 所提出的多模态嵌入空间是否能在Flickr8K、Flickr30K和MSCOCO等标准基准上实现图像-句子检索任务的最先进性能？
• RQ3 在推断出的对齐关系上进行训练的多模态RNN，是否能在区域级标注上生成比基于检索的基线模型更准确、更多样化的图像描述？
• RQ4 与全图字幕生成模型相比，该模型在细粒度、区域特定描述任务上的表现如何，尤其是在描述简短且具体的情况下？

主要发现

• 对齐模型在Flickr8K、Flickr30K和MSCOCO数据集上的图像-句子检索任务中均达到最先进性能，优于先前方法。
• 多模态RNN模型在区域级标注上的表现优于检索基线模型，BLEU-4得分为14.8，而最近邻基线模型得分为0.0。
• 在新构建的区域级数据集上，RNN模型的CIDEr得分达到61.6，显著优于全图模型（20.3），尽管其生成的句子更短。
• 该区域级模型在METEOR（15.8 vs. 13.3）和ROUGE（35.1 vs. 21.0）指标上也优于全图模型，表明其在语义一致性和流畅性方面表现更优。
• 在区域级数据集上，人类标注者的一致性达到BLEU-4得分为22.0，表明模型性能与人类水平相当。
• 该模型成功生成了罕见短语，如“带有酒杯的桌子”（在训练中仅出现30次），即使在不同视觉上下文中也能稳健地实现语义对齐与生成。