[论文解读] Guiding Long-Short Term Memory for Image Caption Generation

Xu Jia, Efstratios Gavves+2 more|arXiv (Cornell University)|Sep 16, 2015

Multimodal Machine Learning Applications参考文献 35被引用 73

一句话总结

本文提出 gLSTM，一种用于图像字幕生成的增强型长短期记忆网络，通过将语义图像特征作为外部引导，防止字幕生成过程中偏离图像内容。通过将通过 CCA 或跨模态检索获得的语义嵌入注入每个 LSTM 门，模型生成更准确、更具视觉关注的字幕，在 Flickr8K、Flickr30K 和 MS COCO 上实现最先进性能，BLEU 和 METEOR 分数均得到提升。

ABSTRACT

In this work we focus on the problem of image caption generation. We propose an extension of the long short term memory (LSTM) model, which we coin gLSTM for short. In particular, we add semantic information extracted from the image as extra input to each unit of the LSTM block, with the aim of guiding the model towards solutions that are more tightly coupled to the image content. Additionally, we explore different length normalization strategies for beam search in order to prevent from favoring short sentences. On various benchmark datasets such as Flickr8K, Flickr30K and MS COCO, we obtain results that are on par with or even outperform the current state-of-the-art.

研究动机与目标

• 为解决字幕生成过程中模型偏离图像内容的问题，避免过度依赖常见短语而非准确描述。
• 通过将语义图像特征直接嵌入 LSTM 单元，提升生成字幕与视觉输入的一致性。
• 探究全局语义引导是否能在图像字幕生成中优于或补充注意力机制。
• 分析并缓解束搜索对短句的偏好，该偏好会降低字幕质量。
• 证明单一 gLSTM 模型可在不依赖模型集成或复杂注意力模块的情况下，达到或超越更复杂模型的性能。

提出的方法

• 提出一种改进的 LSTM 单元，称为 gLSTM，其中语义图像特征作为额外输入注入每个 LSTM 门（输入门、遗忘门、输出门和候选门）。
• 利用典型相关分析（CCA）的多模态语义嵌入，将图像和文本特征映射到共享语义空间，以提供引导。
• 探索替代性引导信号，包括跨模态检索结果和原始图像特征，以评估语义对齐的有效性。
• 在束搜索中应用长度归一化，以抵消贪婪解码倾向于生成短句的倾向。
• 采用端到端训练方式，使用编码器-解码器框架，其中卷积神经网络（如 VGG 或 AlexNet）用于图像编码，gLSTM 用于自回归字幕生成。
• 使用不同类型的语义引导（如多项式、最小铰链、高斯核）评估多种 gLSTM 变体，以确定最优信号表示形式。

实验结果

研究问题

• RQ1 将语义图像特征注入 LSTM 门是否能提升生成字幕与输入图像的一致性？
• RQ2 全局语义引导是否优于或可与局部注意力机制在图像字幕生成中互补？
• RQ3 语义嵌入的选择（如 CCA、基于检索的方法）如何影响字幕生成性能？
• RQ4 束搜索对短句的偏好在多大程度上会降低字幕质量？长度归一化能否缓解此问题？
• RQ5 单一、受引导的 LSTM 模型是否能在不依赖模型集成或复杂注意力模块的情况下实现最先进性能？

主要发现

• 采用语义嵌入引导的 gLSTM 模型（emb-gLSTM）在 MS COCO 上达到 BLEU-4 67.0 和 METEOR 22.74，优于先前最先进方法（如 Soft-Attention 和 Hard-Attention）。
• 基于高斯核的引导策略的 emb-gLSTM 变体在 MS COCO 上取得 81.25 的 CIDEr 分数，较最佳基线提升超过 2 分。
• 在束搜索中使用长度归一化显著提升生成质量，减轻对短句的偏好，提升 METEOR 和 CIDEr 分数。
• 基于图像的引导（img-gLSTM）性能甚至低于随机基线，表明原始图像特征作为直接引导无效，而语义嵌入则有效。
• 即使参数量更少（310 万），emb-gLSTM 也优于参数量更大的基线模型（590 万）和更深的 LSTM 模型（520 万参数），证明语义引导在效率与有效性上的优势。
• 所提方法在 Flickr8K 和 Flickr30K 上也达到最先进性能，emb-gLSTM 在 Flickr8K 上实现 64.7 的 BLEU-1 和 45.9 的 BLEU-4，优于 Google NIC 及其他基于注意力的模型。