[论文解读] Image Caption Generation with Text-Conditional Semantic Attention.

Luowei Zhou, Chenliang Xu+2 more|arXiv (Cornell University)|Jun 15, 2016

Multimodal Machine Learning Applications参考文献 8被引用 33

一句话总结

本文提出了一种用于图像字幕生成的文本条件语义注意力机制，该机制能动态聚焦于与先前生成文本相关的图像区域。通过反向传播的语义引导微调CNN权重，并端到端地整合图像和文本嵌入，该方法在MSCOCO数据集上使用BLEU、METEOR和CIDEr指标的表现优于当前最先进模型。

ABSTRACT

We propose a semantic attention mechanism for image caption generation, called text-conditional semantic attention, which allows the caption generator to automatically learn which parts of the image feature to focus on given previously generated text. To acquire text-related image features for our attention model, we also improve the guiding Long Short-Term Memory (gLSTM) structure by back-propagating the training loss though semantic guidance to fine-tune the CNN weights. In contrast to existing gLSTM methods, such as emb-gLSTM, our fine-tuned model enables guidance information to be more text-related. This also allows jointly learning of the image embedding, text embedding, semantic attention and language model with one simple network architecture in an end-to-end manner. We implement our model based on NeuralTalk2, an open-source image caption generator, and test it on MSCOCO dataset. We evaluate the proposed method with three metrics: BLEU, METEOR and CIDEr. The proposed methods outperform state-of-the-art methods.

研究动机与目标

• 解决现有图像字幕生成模型在动态对齐视觉特征与不断演化的文本上下文方面的局限性。
• 通过基于先前生成文本的条件注意力机制，提升字幕生成过程中所关注图像特征的相关性。
• 实现图像嵌入、文本嵌入、语义注意力和语言建模的联合端到端学习。
• 通过语义反向传播微调CNN权重，提升gLSTM中指导信号的有效性。

提出的方法

• 提出一种文本条件语义注意力机制，根据解码器当前隐藏状态自适应地选择图像特征。
• 通过将训练损失通过语义引导路径反向传播，微调CNN权重，从而改进引导长短期记忆网络（gLSTM）。
• 提出一种统一的网络架构，以端到端方式联合学习图像嵌入、文本嵌入、注意力权重和语言建模。
• 采用改进的NeuralTalk2框架，在MSCOCO数据集上实现所提出的模型。
• 使用基于解码器隐藏状态和生成文本上下文的注意力机制，以优化特征选择。
• 通过语义引导路径进行反向传播，更新CNN特征，使其对文本上下文更加敏感。

实验结果

研究问题

• RQ1 文本条件注意力机制能否改善生成字幕与相关图像区域之间的对齐？
• RQ2 通过语义引导路径反向传播训练损失，能否增强图像特征与生成文本的相关性？
• RQ3 联合端到端学习图像和文本嵌入、注意力机制与语言建模，能否提升字幕生成性能？
• RQ4 在自动评估指标方面，该方法与最先进模型相比表现如何？

主要发现

• 所提方法在MSCOCO数据集上的表现优于现有最先进模型。
• 文本条件语义注意力机制在字幕生成过程中实现了更准确且与上下文更相关的目标特征选择。
• 通过语义反向传播微调CNN权重，使图像特征更具文本相关性，从而提升了注意力质量。
• 端到端联合学习图像表示、文本表示、注意力机制与语言建模的架构，其性能优于解耦方法。
• 该模型在BLEU、METEOR和CIDEr三项评估指标上均优于先前方法。
• 将语义引导集成到gLSTM框架中，增强了模型生成连贯且描述性字幕的能力。