[论文解读] Aligning where to see and what to tell: image caption with region-based attention and scene factorization

Junqi Jin, Kun Fu+3 more|arXiv (Cornell University)|Jun 20, 2015

Multimodal Machine Learning Applications参考文献 28被引用 106

一句话总结

本文提出了一种新颖的图像字幕生成模型，通过区域注意力机制与场景特定上下文建模相结合，将视觉注意力在图像区域间的转移与字幕中词语的顺序生成对齐，采用基于区域的注意力和场景分解的LSTM进行建模。该方法通过联合利用局部视觉特征与全局场景语义，在Flickr8K、Flickr30K和MSCOCO数据集上实现了最先进性能，显著提升了字幕生成的准确性和相关性。

ABSTRACT

Recent progress on automatic generation of image captions has shown that it is possible to describe the most salient information conveyed by images with accurate and meaningful sentences. In this paper, we propose an image caption system that exploits the parallel structures between images and sentences. In our model, the process of generating the next word, given the previously generated ones, is aligned with the visual perception experience where the attention shifting among the visual regions imposes a thread of visual ordering. This alignment characterizes the flow of "abstract meaning", encoding what is semantically shared by both the visual scene and the text description. Our system also makes another novel modeling contribution by introducing scene-specific contexts that capture higher-level semantic information encoded in an image. The contexts adapt language models for word generation to specific scene types. We benchmark our system and contrast to published results on several popular datasets. We show that using either region-based attention or scene-specific contexts improves systems without those components. Furthermore, combining these two modeling ingredients attains the state-of-the-art performance.

研究动机与目标

• 建模视觉感知中注意力在显著图像区域间转移与语言生成中词语顺序产生之间的并行结构。
• 通过引入场景特定上下文，使语言模型适应高层语义场景类型（如厨房、运动等），从而提升图像字幕生成质量。
• 通过使用局部视觉区域替代全局图像特征表示，解决其局限性，实现在视觉概念与语言概念之间的细粒度对齐。
• 证明结合基于区域的注意力与场景特定上下文建模可显著提升字幕生成性能。

提出的方法

• 模型使用循环神经网络（LSTM）基于编码共享‘抽象意义’流的隐藏状态，联合预测下一个关注的视觉区域和下一个生成的词语。
• 通过选择性搜索在多尺度下检测视觉区域，其特征作为注意力机制的输入，实现图像局部区域与词语之间的细粒度对齐。
• 利用全局视觉特征从整幅图像中提取场景向量，并用于条件化语言模型，从而有效选择特定场景的语言生成策略。
• 场景向量被建模为基于LDA的场景分类器的主题向量，从而引导LSTM的词语生成偏向于该场景类型的典型词汇与句法结构。
• 系统采用端到端可训练架构，区域注意力与场景上下文与字幕生成目标联合优化。
• 模型使用真实字幕的交叉熵损失进行训练，并通过BLEU、ROUGE和METEOR指标进行评估。

实验结果

研究问题

• RQ1 如何将视觉注意力在图像区域间的转移过程与字幕中词语的顺序生成对齐？
• RQ2 场景特定上下文在多大程度上提升了生成字幕的质量与相关性？
• RQ3 将基于区域的注意力与场景特定上下文建模相结合，是否能优于单独使用任一组件？
• RQ4 在模糊或上下文敏感的场景中，场景向量如何影响字幕生成的多样性与准确性？

主要发现

• 所提模型在Flickr8K和Flickr30K数据集上达到最先进性能，BLEU-1分数接近Google的NIC模型。
• 仅使用基于区域的注意力即显著优于仅使用全局图像特征的模型。
• 使用场景特定上下文通过引导语言生成偏向场景相关的词汇与句法结构，显著提升了字幕质量，如在场景向量被扰动的定性示例中所验证。
• 结合基于区域的注意力与场景特定上下文建模可获得最佳整体性能，表明两者的互补优势。
• 定性分析表明，注意力权重与图像中的显著视觉概念（如‘cow’或‘grass’）对齐良好，且场景向量能有效引导生成符合上下文的描述。