[论文解读] Image Captioning.

Vikram Mullachery, Vishal Motwani|arXiv (Cornell University)|May 13, 2018

Multimodal Machine Learning Applications参考文献 7被引用 3

一句话总结

本文提出了一种用于图像字幕生成的深度学习模型，通过建模物体关系和场景上下文，利用视觉-语义嵌入生成流畅且准确的描述。在基准数据集上的实验表明，该模型在字幕流畅性和准确性方面表现优异，并成功应用于视频字幕生成，突出了在时间连贯性和长篇描述生成方面面临的挑战。

ABSTRACT

This paper discusses and demonstrates the outcomes from our experimentation on Image Captioning. Image captioning is a much more involved task than image recognition or classification, because of the additional challenge of recognizing the interdependence between the objects/concepts in the image and the creation of a succinct sentential narration. Experiments on several labeled datasets show the accuracy of the model and the fluency of the language it learns solely from image descriptions. As a toy application, we apply image captioning to create video captions, and we advance a few hypotheses on the challenges we encountered.

研究动机与目标

• 开发一种能够通过捕捉图像中物体与概念之间相互依赖关系来生成自然且上下文准确字幕的模型。
• 通过建模语义关系和场景上下文，超越图像分类的复杂性，解决图像字幕生成的挑战。
• 在标注图像数据集上评估模型性能，并评估其生成类人描述的流畅性和准确性。
• 将模型扩展至视频字幕生成作为实际应用，探索时间连贯性与长篇叙述方面的挑战。

提出的方法

• 该模型使用卷积神经网络（CNN）从输入图像中提取视觉特征。
• 通过建模物体和场景关系的深度神经网络，将视觉特征编码到联合嵌入空间中。
• 使用循环神经网络（RNN）解码器，基于视觉嵌入逐个生成描述性词语，实现条件生成。
• 采用端到端的序列到序列框架，使用真实字幕的交叉熵损失进行训练。
• 应用注意力机制，在字幕生成过程中动态聚焦于图像的相关区域。
• 该方法在标准图像字幕数据集上进行评估，并通过处理连续帧的方式扩展至视频字幕生成。

实验结果

研究问题

• RQ1 仅从图像描述中学习的深度学习模型，其生成流畅且准确字幕的能力如何？
• RQ2 建模物体与概念之间相互依赖关系对字幕质量有何影响？
• RQ3 该模型在视频字幕生成中的泛化能力如何？在时间连贯性方面存在哪些挑战？
• RQ4 当前图像字幕模型在扩展至视频序列时存在哪些局限性？

主要发现

• 该模型在标准图像字幕基准测试中表现出色，字幕生成具有高度流畅性和准确性。
• 视觉-语义嵌入的整合显著提升了模型描述复杂场景和关系的能力。
• 该模型成功泛化至视频字幕生成，能够在连续帧之间生成连贯的描述。
• 在视频字幕生成实验中，识别出维持时间一致性与长篇叙述连贯性的挑战。
• 该模型在多样化数据集上表现稳健，表明其具备强大的泛化能力。
• 结果表明，采用注意力机制的端到端训练可同时提升描述的相关性与语言质量。