[论文解读] MAT: A Multimodal Attentive Translator for Image Captioning

Chang Liu, Fuchun Sun+3 more|arXiv (Cornell University)|Feb 18, 2017

Multimodal Machine Learning Applications参考文献 21被引用 13

一句话总结

本文提出 MAT（Multimodal Attentive Translator），一种序列到序列的 RNN 模型，将图像字幕生成任务重新定义为将视觉语言（以检测到的对象序列表示）翻译为自然语言。通过在对象特征上使用序列注意力机制，MAT 改进了视觉表征的平衡性，在 MS COCO 数据集上实现了最先进性能，CIDEr 得分为 1.064（c40），SPICE 得分为 18.9（c5）。

ABSTRACT

In this work we formulate the problem of image captioning as a multimodal translation task. Analogous to machine translation, we present a sequence-to-sequence recurrent neural networks (RNN) model for image caption generation. Different from most existing work where the whole image is represented by convolutional neural network (CNN) feature, we propose to represent the input image as a sequence of detected objects which feeds as the source sequence of the RNN model. In this way, the sequential representation of an image can be naturally translated to a sequence of words, as the target sequence of the RNN model. To represent the image in a sequential way, we extract the objects features in the image and arrange them in a order using convolutional neural networks. To further leverage the visual information from the encoded objects, a sequential attention layer is introduced to selectively attend to the objects that are related to generate corresponding words in the sentences. Extensive experiments are conducted to validate the proposed approach on popular benchmark dataset, i.e., MS COCO, and the proposed model surpasses the state-of-the-art methods in all metrics following the dataset splits of previous work. The proposed approach is also evaluated by the evaluation server of MS COCO captioning challenge, and achieves very competitive results, e.g., a CIDEr of 1.029 (c5) and 1.064 (c40).

研究动机与目标

• 通过将任务重新定义为多模态序列到序列翻译，解决基于 RNN 的图像字幕生成中视觉编码与语言解码之间的不平衡问题。
• 通过用检测到的对象特征序列替代单张图像的 CNN 特征，提升图像字幕生成中的视觉表征质量。
• 通过引入一种序列注意力层，动态关注生成过程中相关的视觉元素，从而增强注意力机制。
• 通过更均衡且信息丰富的视觉内容编码，实现在基准数据集上的卓越性能。

提出的方法

• 使用目标检测与特征提取，将输入图像表示为检测到的对象序列，替代原有的单个 CNN 特征表示。
• 将对象特征序列输入编码器-RNN，生成上下文相关的视觉表征。
• 引入一种序列注意力机制，在每个解码时间步对所有对象特征计算注意力权重，实现对相关视觉元素的动态聚焦。
• 使用条件于序列注意力上下文向量的解码器-RNN，逐个 token 生成自然语言字幕。
• 采用带调度采样（scheduled sampling）的交叉熵损失进行端到端训练，以提升训练稳定性。
• 利用 MS COCO 评估服务器与 SPICE 指标，验证模型性能与人类判断的一致性。

实验结果

研究问题

• RQ1 与使用单个 CNN 特征相比，将图像表示为检测到的对象序列是否能提升图像字幕生成模型的性能？
• RQ2 在解码过程中，对多个对象特征进行序列注意力机制，如何影响字幕的质量？
• RQ3 所提出的多模态序列到序列翻译框架是否在标准基准上优于现有的 CNN+RNN 与注意力基线模型？
• RQ4 模型性能在多大程度上与人类判断一致，这通过 SPICE 指标进行衡量？

主要发现

• MAT 在 MS COCO 评估服务器上取得 CIDEr 得分 1.064（c40）与 1.029（c5），显著超越此前的 SOTA 水平。
• 在 MS COCO 5000 测试集上，MAT 取得 SPICE 得分 18.9（c5），表明其与人类判断具有高度一致性。
• 消融实验表明，序列化对象表示与序列注意力机制均对性能提升有显著贡献，优于基线模型。
• 定性结果表明，MAT 生成的字幕更准确且上下文更恰当，例如能正确识别多个对象与动作，优于基线模型。