[论文解读] A Deep Neural Framework for Image Caption Generation Using GRU-Based Attention Mechanism

Rashid Khan, M. Shujah Islam+4 more|arXiv (Cornell University)|Mar 3, 2022

Multimodal Machine Learning Applications被引用 15

一句话总结

本文提出了一种用于图像字幕生成的深度神经网络框架，结合了预训练的卷积神经网络（CNN）进行图像特征提取，以及通过Bahdanau注意力机制增强的GRU解码器。该模型在MSCOCO数据集上实现了具有竞争力的性能，通过在生成字幕时聚焦于相关图像区域，展示了生成描述在准确性和连贯性方面的提升。

ABSTRACT

Image captioning is a fast-growing research field of computer vision and natural language processing that involves creating text explanations for images. This study aims to develop a system that uses a pre-trained convolutional neural network (CNN) to extract features from an image, integrates the features with an attention mechanism, and creates captions using a recurrent neural network (RNN). To encode an image into a feature vector as graphical attributes, we employed multiple pre-trained convolutional neural networks. Following that, a language model known as GRU is chosen as the decoder to construct the descriptive sentence. In order to increase performance, we merge the Bahdanau attention model with GRU to allow learning to be focused on a specific portion of the image. On the MSCOCO dataset, the experimental results achieve competitive performance against state-of-the-art approaches.

研究动机与目标

• 开发一种深度神经网络框架，通过将注意力机制与循环解码相结合，提升图像字幕生成性能。
• 利用预训练的卷积神经网络，实现鲁棒的图像特征表示。
• 通过注意力机制引导解码器聚焦于图像中的显著区域，从而提升字幕质量。
• 在MSCOCO等基准数据集上，利用基于GRU的语言模型实现具有竞争力的性能。
• 验证将GRU与Bahdanau注意力机制结合在生成更准确、更具上下文相关性的字幕方面的有效性。

提出的方法

• 使用预训练的卷积神经网络从输入图像中提取深层视觉特征。
• 采用多个预训练的CNN将图像特征编码为丰富且多尺度的表示。
• 使用门控循环单元（GRU）作为解码器，逐个 token 生成描述性句子。
• 将Bahdanau注意力机制与GRU集成，实现在生成字幕过程中动态聚焦于相关图像区域。
• 基于解码器隐藏状态与图像特征之间的对齐关系计算注意力权重，实现选择性关注。
• 使用交叉熵损失端到端训练模型，以优化真实字幕的似然概率。

实验结果

研究问题

• RQ1 将Bahdanau注意力机制与GRU解码器结合，如何提升图像字幕生成性能？
• RQ2 预训练的CNN在多大程度上能够增强图像字幕任务中的视觉特征表示？
• RQ3 与基线RNN相比，注意力机制是否能生成更连贯、更具上下文准确性的字幕？
• RQ4 所提出的框架在标准基准测试中与最先进方法相比表现如何？
• RQ5 该模型在MSCOCO数据集中多样化的图像内容上是否具备良好的泛化能力？

主要发现

• 所提出的模型在MSCOCO数据集上实现了具有竞争力的性能，相对于最先进方法表现出色。
• 将Bahdanau注意力机制与GRU结合，显著提升了模型聚焦于显著图像区域的能力，从而生成更具上下文相关性的字幕。
• 使用多个预训练的CNN增强了特征表示，进一步提升了字幕质量。
• 模型表现出更优的注意力对齐效果，注意力图在生成字幕时能清晰突出相关图像区域。
• 该框架在复杂度与性能之间实现了良好的权衡，适用于现实世界中的图像字幕应用。
• 结果表明，基于GRU的解码结合注意力机制，能有效生成流畅且准确的图像描述。