[论文解读] Image Captioning with Deep Bidirectional LSTMs

Cheng Wang, Haojin Yang+2 more|arXiv (Cornell University)|Apr 4, 2016

Multimodal Machine Learning Applications参考文献 43被引用 31

一句话总结

本文提出一种端到端可训练的深度双向LSTM模型用于图像字幕生成，通过在语言生成中同时利用前向和后向上下文，提升语义理解能力。通过堆叠深层双向LSTM并使用多层感知机作为中间过渡，模型学习分层视觉-语言嵌入表示，在无需注意力机制或目标检测等外部模块的情况下，实现了图像字幕生成与检索任务的最先进性能。

ABSTRACT

This work presents an end-to-end trainable deep bidirectional LSTM (Long-Short Term Memory) model for image captioning. Our model builds on a deep convolutional neural network (CNN) and two separate LSTM networks. It is capable of learning long term visual-language interactions by making use of history and future context information at high level semantic space. Two novel deep bidirectional variant models, in which we increase the depth of nonlinearity transition in different way, are proposed to learn hierarchical visual-language embeddings. Data augmentation techniques such as multi-crop, multi-scale and vertical mirror are proposed to prevent overfitting in training deep models. We visualize the evolution of bidirectional LSTM internal states over time and qualitatively analyze how our models "translate" image to sentence. Our proposed models are evaluated on caption generation and image-sentence retrieval tasks with three benchmark datasets: Flickr8K, Flickr30K and MSCOCO datasets. We demonstrate that bidirectional LSTM models achieve highly competitive performance to the state-of-the-art results on caption generation even without integrating additional mechanism (e.g. object detection, attention model etc.) and significantly outperform recent methods on retrieval task.

研究动机与目标

• 为解决生成多样化、上下文准确的图像字幕的挑战，通过建模长距离视觉-语言依赖关系。
• 通过双向LSTM捕捉过去和未来的语言上下文，提升多模态表征学习能力。
• 探索更深层的LSTM架构，以增强视觉-语言空间中的分层特征学习。
• 通过多裁剪、多尺度裁剪和垂直翻转等数据增强技术，缓解深层模型的过拟合问题。
• 在标准基准数据集上，对图像字幕生成和图像-句子检索任务进行模型评估。

提出的方法

• 使用深度卷积神经网络（CNN）提取图像特征，随后输入双向LSTM进行联合视觉-语言嵌入学习。
• 提出两种深层双向LSTM变体：Bi-S-LSTM（堆叠LSTM层）和Bi-F-LSTM（通过多层感知机连接LSTM层，以增加深度而不显著增加参数量）。
• 采用联合损失函数端到端训练整个模型，同时优化字幕生成与检索性能。
• 应用多裁剪、多尺度裁剪和垂直翻转等数据增强技术，提升训练数据多样性并减少过拟合。
• 可视化LSTM内部状态随时间的变化，分析模型如何生成词语并捕捉视觉-语言交互。
• 推理阶段使用束搜索（beam search），并计算图像-句子相似度得分以支持检索任务。

实验结果

研究问题

• RQ1 通过在已有过去上下文的基础上引入未来语言上下文，双向LSTM是否能提升图像字幕生成性能？
• RQ2 增加双向LSTM架构的深度是否能增强分层视觉-语言表征的学习能力？
• RQ3 数据增强技术如何影响深层双向LSTM模型在图像字幕任务中的泛化能力与鲁棒性？
• RQ4 是否可实现无需依赖注意力机制或目标检测的深层双向LSTM模型，在图像字幕与检索任务中达到最先进性能？
• RQ5 模型深度对小型数据集与大型数据集的性能影响如何？数据增强是否能缓解深层模型中的过拟合问题？

主要发现

• 所提出的深层双向LSTM模型在图像字幕生成任务中表现极具竞争力，即使不使用注意力或目标检测模块。
• 在MSCOCO数据集上，Bi-F-LSTM模型的BLEU-4得分为80.5，CIDEr得分为128.6，优于先前方法。
• 在图像-句子检索任务中，模型显著优于近期方法，Flickr8K、Flickr30K和MSCOCO数据集上的R@1得分分别为68.2、64.1和54.3。
• 在较小数据集（如Flickr8K）上，浅层模型因过拟合而略优于深层模型，但在更大数据集（如MSCOCO）上，深层模型表现更优。
• 多裁剪和多尺度裁剪等数据增强技术能有效减少过拟合并提升泛化能力，尤其在深层架构中效果显著。
• 对内部LSTM状态的可视化结果证实，双向模型能捕捉互补的语言依赖关系，后向生成的词语往往具有更高的生成概率。