[论文解读] Exploring Overall Contextual Information for Image Captioning in Human-Like Cognitive Style

Hongwei Ge, Zehang Yan+3 more|arXiv (Cornell University)|Oct 15, 2019

Multimodal Machine Learning Applications参考文献 47被引用 6

一句话总结

本文提出 MaBi-LSTMs，一种互惠式双向LSTM架构，通过联合建模正向和反向的句子上下文，增强图像字幕生成，使模型能够生成更连贯、更接近人类语言的字幕。通过利用双向上下文和跨模态注意力机制，该模型在COCO数据集上实现了最先进性能，通过提升上下文感知能力和多模态融合，显著改善了字幕质量。

ABSTRACT

Image captioning is a research hotspot where encoder-decoder models combining convolutional neural network (CNN) and long short-term memory (LSTM) achieve promising results. Despite significant progress, these models generate sentences differently from human cognitive styles. Existing models often generate a complete sentence from the first word to the end, without considering the influence of the following words on the whole sentence generation. In this paper, we explore the utilization of a human-like cognitive style, i.e., building overall cognition for the image to be described and the sentence to be constructed, for enhancing computer image understanding. This paper first proposes a Mutual-aid network structure with Bidirectional LSTMs (MaBi-LSTMs) for acquiring overall contextual information. In the training process, the forward and backward LSTMs encode the succeeding and preceding words into their respective hidden states by simultaneously constructing the whole sentence in a complementary manner. In the captioning process, the LSTM implicitly utilizes the subsequent semantic information contained in its hidden states. In fact, MaBi-LSTMs can generate two sentences in forward and backward directions. To bridge the gap between cross-domain models and generate a sentence with higher quality, we further develop a cross-modal attention mechanism to retouch the two sentences by fusing their salient parts as well as the salient areas of the image. Experimental results on the Microsoft COCO dataset show that the proposed model improves the performance of encoder-decoder models and achieves state-of-the-art results.

研究动机与目标

• 解决标准编码器-解码器模型在图像字幕生成过程中难以捕捉完整上下文依赖关系的局限性。
• 通过在生成字幕前综合理解图像内容与句子结构，模仿人类认知方式。
• 通过使用互惠式LSTM结构联合建模正向与反向语言上下文，提升句子连贯性与准确性。
• 通过跨模态注意力机制弥合视觉特征（CNN）与语言表征（LSTM）之间的领域差距。
• 通过融合正向与反向字幕生成中的显著视觉区域与语义元素，提升字幕质量。

提出的方法

• 提出MaBi-LSTMs，一种互惠式双向LSTM结构，其中正向与反向LSTM通过双向互补上下文迭代更新隐藏状态。
• 在MaBi-LSTMs中引入辅助结构，实现前后文词语的相互编码，提升训练过程中的上下文感知能力。
• 在推理阶段，分别以正向与反向方向生成两个候选字幕，以捕捉双向句子级上下文。
• 采用跨模态注意力机制，融合图像的视觉特征与两个字幕方向的语义特征，以优化最终输出。
• 使用视觉注意力聚焦于图像中的相关区域，使用语义注意力突出两个生成字幕中的关键词语，实现多模态融合。
• 在冻结CNN特征提取器后，对整个模型进行端到端微调，以优化联合视觉-语义表征学习。

实验结果

研究问题

• RQ1 与标准单向或独立双向LSTM相比，采用互惠式学习的双向LSTM是否能提升图像字幕生成中的上下文建模能力？
• RQ2 通过反向LSTM引入未来词语上下文，是否能提升生成字幕的准确度与流畅性？
• RQ3 跨模态注意力机制若能融合视觉与语义信息，是否能显著提升字幕质量，超越单一方向的字幕生成？
• RQ4 与基线模型相比，该方法在捕捉细粒度属性（如颜色、物体数量）方面表现如何？
• RQ5 通过结合正向与反向字幕流的互补信息，模型是否能生成更完整、更准确的描述？

主要发现

• MaBi-LSTM模型通过实现正向与反向语言建模之间的互惠上下文学习，显著提升了字幕质量，优于标准单向LSTM与独立双向LSTM。
• 跨模态注意力机制有效融合了正向与反向字幕流中的显著视觉区域与语义元素，生成了更准确、更完整的描述。
• 在COCO数据集上，所提模型实现了最先进性能，BLEU、ROUGE与CIDEr等指标均优于现有方法。
• 模型成功恢复了基线字幕中遗漏的图像内容，如“mirror”（镜子）、“cup”（杯子）、“wine glass”（酒杯）与“pink”（粉色），表明其在物体与属性识别方面能力更强。
• 即使正向或反向LSTM生成的单个字幕不完整或有误，MaBi-LSTMs仍能通过互补信息生成连贯且准确的最终字幕。
• MaBi-LSTMs中的辅助结构通过引入隐含的未来上下文，在模糊情况（如区分“licking”（舔）与“drinking”（喝））下实现了更优的上下文建模。