[论文解读] Induction and Reference of Entities in a Visual Story

Ruo-Ping Dong, Khyathi Raghavi Chandu+1 more|arXiv (Cornell University)|Sep 15, 2019

Multimodal Machine Learning Applications参考文献 27被引用 7

一句话总结

该论文提出了一种用于视觉故事生成的全局-局部分层注意力模型，通过在故事生成过程中强制执行实体骨架（即命名实体和回指的链）来提升连贯性。通过在局部（词级别）和全局（句子级别）注意力中整合实体骨架，该模型生成了更具自然感、代词使用更丰富的叙事，其METEOR得分优于基线模型，且在82%的情况下更受人类青睐。

ABSTRACT

We are enveloped by stories of visual interpretations in our everyday lives. The way we narrate a story often comprises of two stages, which are, forming a central mind map of entities and then weaving a story around them. A contributing factor to coherence is not just basing the story on these entities but also, referring to them using appropriate terms to avoid repetition. In this paper, we address these two stages of introducing the right entities at seemingly reasonable junctures and also referring them coherently in the context of visual storytelling. The building blocks of the central mind map, also known as entity skeleton are entity chains including nominal and coreference expressions. This entity skeleton is also represented in different levels of abstractions to compose a generalized frame to weave the story. We build upon an encoder-decoder framework to penalize the model when the decoded story does not adhere to this entity skeleton. We establish a strong baseline for skeleton informed generation and then extend this to have the capability of multitasking by predicting the skeleton in addition to generating the story. Finally, we build upon this model and propose a glocal hierarchical attention model that attends to the skeleton both at the sentence (local) and the story (global) levels. We observe that our proposed models outperform the baseline in terms of automatic evaluation metric, METEOR. We perform various analysis targeted to evaluate the performance of our task of enforcing the entity skeleton such as the number and diversity of the entities generated. We also conduct human evaluation from which it is concluded that the visual stories generated by our model are preferred 82% of the times. In addition, we show that our glocal hierarchical attention model improves coherence by introducing more pronouns as required by the presence of nouns.

研究动机与目标

• 为解决视觉故事生成中实体引入与指代的连贯性挑战，受人类叙事规划的启发。
• 将叙事过程建模为在故事生成前构建一个核心实体图谱（即“实体骨架”）。
• 通过确保实体在适当时间被引入并使用代词或回指进行指代，提升故事连贯性。
• 开发一种将实体骨架整合到序列到序列生成与注意力机制中的框架。
• 评估基于模板的生成是否相比标准基线模型，能产生更自然、更受人类偏好的故事。

提出的方法

• 使用现成的NLP工具从图像字幕中提取实体骨架，以三种抽象层次表示：表面形式、名词化形式和抽象形式。
• 构建一个强大的基线模型用于视觉故事生成，该模型不将实体骨架作为监督信号。
• 扩展基线模型，引入多任务学习：联合预测实体骨架并生成故事，以促进与骨架的一致性。
• 提出一种全局-局部分层注意力机制，在解码过程中同时关注实体骨架的词级别（局部）和句子级别（全局）信息。
• 在训练过程中，若生成的故事偏离提取的实体骨架，则施加惩罚，使用一种强制遵循骨架的损失函数。
• 可视化注意力图，分析模型在跨句子中对实体链（尤其是代词和回指）的关注方式。

实验结果

研究问题

• RQ1 在故事生成过程中强制执行实体骨架是否能提升视觉故事情节的连贯性与自然度？
• RQ2 一种在局部和全局层面均关注实体骨架的全局-局部分层注意力机制，是否能带来更好的代词使用与实体指代效果？
• RQ3 与标准基线相比，基于骨架的模型在自动评估与人工评估中的表现如何？
• RQ4 不同形式的实体骨架表示（表面、名词化、抽象）在多大程度上影响故事生成质量？
• RQ5 该模型能否生成在名词与代词频率分布上更接近人类写作的故事情节？

主要发现

• 全局-局部分层注意力模型在与基线模型的对比中，获得了82%的人类偏好率，表明其叙事质量与连贯性更强。
• 该模型在METEOR得分上比基线模型高出约3分，表明自动评估指标表现更优。
• 全局-局部模型生成的实体指代（尤其是代词）在分布上更接近人类写作的故事情节，表明其核心指代处理能力更佳。
• 该模型生成了更具连贯性的故事，包含多个相互关联的实体链，表现为在跨句子中对同源术语的关注权重更高。
• 实体骨架表示显著提升了模型在适当时机引入与指代实体的能力，减少了冗余与重复。
• 人工评估确认，使用代词而非重复名词有助于生成更具吸引力与代入感的叙事，支持了模型的设计选择。