[论文解读] Contextualize, Show and Tell: A Neural Visual Storyteller

Diana Gonzalez-Rico, Gibrán Fuentes-Pineda|arXiv (Cornell University)|Jun 3, 2018

Multimodal Machine Learning Applications参考文献 8被引用 29

一句话总结

本文提出了一种神经视觉讲故事模型，通过使用上下文编码LSTM来总结图像序列，并结合多个独立解码器（每个解码器均以上下文向量初始化并基于单个图像嵌入进行条件化），扩展了Vinyals等人提出的Show and Tell模型。该模型在2018年视觉讲故事挑战赛中取得了具有竞争力的METEOR得分和出色的真人评估结果，相较于基线方法，在叙事连贯性和故事结构方面表现更优。

ABSTRACT

We present a neural model for generating short stories from image sequences, which extends the image description model by Vinyals et al. (Vinyals et al., 2015). This extension relies on an encoder LSTM to compute a context vector of each story from the image sequence. This context vector is used as the first state of multiple independent decoder LSTMs, each of which generates the portion of the story corresponding to each image in the sequence by taking the image embedding as the first input. Our model showed competitive results with the METEOR metric and human ratings in the internal track of the Visual Storytelling Challenge 2018.

研究动机与目标

• 从五张图像的序列中生成连贯的、以叙事为导向的故事，超越简单的图像字幕生成。
• 解决在图像序列中保持故事连贯性和叙事推进的挑战。
• 通过在故事生成中融合全局上下文信息和局部图像特异性信息，改进现有图像描述模型。
• 在2018年视觉讲故事挑战赛中，实现自动指标和真人评估的竞争力表现。

提出的方法

• 编码器LSTM逐步处理图像序列，生成表示整个序列的上下文向量。
• 编码器LSTM的最终隐藏状态作为五个独立解码器LSTM的初始隐藏状态。
• 每个解码器基于其对应图像的嵌入（通过Inception V3提取）和共享的上下文向量，生成一个故事片段。
• 使用word2vec学习词嵌入，最终故事通过拼接所有五个解码器的输出生成。
• 该模型采用序列到序列架构，共享上下文但每个图像位置对应独立的解码器。
• 该架构使每个解码器能够为其在故事中的位置（例如，开头句、结尾句）学习专门的语言模型。

实验结果

研究问题

• RQ1 与单解码器模型相比，使用上下文编码编码器和多个解码器是否能提升视觉故事生成中的叙事连贯性？
• RQ2 在图像序列上进行训练的模型，能否生成既与视觉内容一致又结构连贯的故事？
• RQ3 与通用的序列到序列方法相比，使用共享上下文向量并结合位置特异性解码器在多大程度上提升了故事质量？
• RQ4 在视觉故事生成中，自动指标（如METEOR）与真人评估得分在多大程度上与故事质量相关？

主要发现

• 该模型在VIST 2018挑战赛的公开测试集上取得了0.3088的METEOR得分，在隐藏测试集上取得了0.3100的METEOR得分。
• 在真人评估中，该模型在总评分23.596中获得了18.498分，表明其在连贯性、焦点和人类自然度方面表现优异。
• 在METEOR和BLEU-3指标上，该模型优于基线模型，METEOR得分为34.4，高于Huang等人（31.4）和Yu等人（34.1）。
• 尽管自动指标表现强劲，但真人评分揭示了在视觉一致性与细节描述方面仍存在局限，得分分别为2.886和2.893。
• 该模型生成了语法正确且连贯的故事，但部分输出包含重复短语或通用内容，如“这是一张商店的照片”。
• 总体而言，该模型表现具有竞争力，但在ROUGE和CIDEr指标上仍落后于Yu等人模型，表明在语言流畅性和词汇多样性方面仍有改进空间。