[论文解读] Explain Images with Multimodal Recurrent Neural Networks

Junhua Mao, Wei Xu+3 more|arXiv (Cornell University)|Oct 4, 2014

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 369

一句话总结

本文提出了一种多模态循环神经网络（m-RNN），通过融合图像的深度卷积特征与循环语言建模，联合建模图像生成与句子生成，在 IAPR TC-12、Flickr 8K 和 Flickr 30K 数据集上实现了图像字幕生成与跨模态检索的最先进性能。

ABSTRACT

In this paper, we present a multimodal Recurrent Neural Network (m-RNN) model for generating novel sentence descriptions to explain the content of images. It directly models the probability distribution of generating a word given previous words and the image. Image descriptions are generated by sampling from this distribution. The model consists of two sub-networks: a deep recurrent neural network for sentences and a deep convolutional network for images. These two sub-networks interact with each other in a multimodal layer to form the whole m-RNN model. The effectiveness of our model is validated on three benchmark datasets (IAPR TC-12, Flickr 8K, and Flickr 30K). Our model outperforms the state-of-the-art generative method. In addition, the m-RNN model can be applied to retrieval tasks for retrieving images or sentences, and achieves significant performance improvement over the state-of-the-art methods which directly optimize the ranking objective function for retrieval.

研究动机与目标

• 开发一个统一的深度学习框架，为图像生成自然语言描述，并支持图像-句子检索。
• 克服基于检索的方法无法描述训练数据中未出现过的新型图像组合的局限性。
• 通过多模态循环架构，将深度卷积神经网络（CNN）提取的视觉特征与序列语言建模相结合。
• 利用基于困惑度的目标函数，联合优化图像字幕生成与跨模态检索任务。
• 通过在多样化基准数据集上的应用，展示模型的泛化能力与可扩展性，并取得一致的性能提升。

提出的方法

• m-RNN 模型由三个组件构成：用于图像特征提取的深度卷积神经网络（CNN），用于语言建模的循环神经网络（RNN），以及融合视觉与语言表征的多模态融合层。
• 多模态层实现了图像特征与 RNN 隐藏状态之间的交互，使模型能够基于先前生成的词语与完整的图像内容来条件化生成下一个词。
• 模型采用基于困惑度的损失函数进行端到端训练，以最大化给定图像下真实字幕的似然概率。
• 通过时间反向传播与跨模态反向传播，同步更新网络中所有参数，包括 CNN、RNN 与多模态融合层的权重。
• 与固定上下文模型（如 Log-Bilinear）相比，该架构通过 RNN 的隐藏状态支持任意长度的上下文。
• 模型在图像字幕生成（通过 BLEU 与困惑度评估）与跨模态检索（通过 R@K 与中位数排名评估）两个任务上进行评估。

实验结果

研究问题

• RQ1 与独立模型相比，统一的多模态 RNN 架构是否能同时提升图像字幕生成与跨模态检索的性能？
• RQ2 引入语言上下文的循环建模是否能提升字幕生成性能，相较于固定上下文或非循环模型？
• RQ3 m-RNN 模型能否为训练数据中未出现过的新型图像组合生成新颖且描述性的字幕？
• RQ4 在 IAPR TC-12、Flickr 8K 与 Flickr 30K 等标准基准数据集上，m-RNN 在字幕生成与检索任务中的表现如何？
• RQ5 在后续扩展中，使用更先进的图像特征（如目标检测特征）是否能进一步提升模型性能？

主要发现

• 在 IAPR TC-12 数据集上，m-RNN 在图像到文本检索中达到 20.9% 的 R@1，文本到图像检索中达到 13.2%，显著优于基线方法。
• 在 Flickr 8K 上，m-RNN 在图像到文本与文本到图像检索中分别达到 14.5% 与 11.5% 的 R@1，优于 DeepFE-decaf 与 Socher-decaf 等当前最先进方法。
• 在 Flickr 30K 上，m-RNN 在图像到文本与文本到图像检索中分别达到 18.4% 与 12.6% 的 R@1，优于 DeViSE-avg-rcnn 与 DeepFE-rcnn。
• 在图像字幕生成任务中，m-RNN 在 Flickr 8K 上的困惑度为 24.39，在 Flickr 30K 上为 35.11，显著低于 RNN 基线模型（分别为 30.39 与 43.96），表明其语言建模能力更优。
• m-RNN 还取得了更高的 BLEU 分数：在 Flickr 8K 上为 0.5778（B-1）、0.2751（B-2）与 0.2307（B-3），优于基线 RNN 的 0.4383、0.1849 与 0.1339。
• 模型表现出鲁棒性与泛化能力，在未见过的图像组合上仍能生成连贯且语境相关的字幕，如定性示例所示。