[论文解读] "My Way of Telling a Story": Persona based Grounded Story Generation

Shrimai Prabhumoye, Khyathi Raghavi Chandu+2 more|arXiv (Cornell University)|Jun 14, 2019

Multimodal Machine Learning Applications参考文献 40被引用 8

一句话总结

该论文提出了一种基于人格的、与视觉内容对齐的故事生成框架，通过增量式编码器-解码器修改，将对话数据集中的个性特征迁移至视觉故事生成任务中，以引导叙事风格。LEPC 模型在保持较高 ROUGE 分数的同时，实现了最佳的人格分类准确率，证明了在图像对齐的故事生成中有效注入人格特征。

ABSTRACT

Visual storytelling is the task of generating stories based on a sequence of images. Inspired by the recent works in neural generation focusing on controlling the form of text, this paper explores the idea of generating these stories in different personas. However, one of the main challenges of performing this task is the lack of a dataset of visual stories in different personas. Having said that, there are independent datasets for both visual storytelling and annotated sentences for various persona. In this paper we describe an approach to overcome this by getting labelled persona data from a different task and leveraging those annotations to perform persona based story generation. We inspect various ways of incorporating personality in both the encoder and the decoder representations to steer the generation in the target direction. To this end, we propose five models which are incremental extensions to the baseline model to perform the task at hand. In our experiments we use five different personas to guide the generation process. We find that the models based on our hypotheses perform better at capturing words while generating stories in the target persona.

研究动机与目标

• 在缺乏大规模人格标注故事数据集的情况下，生成具有多样化人格特征的视觉故事。
• 将基于对话的人格数据集中的个性标注迁移至视觉故事生成任务中。
• 开发并评估对神经网络模型进行增量扩展的方法，以在编码器和解码器表征中注入人格信息。
• 评估注入人格信息的模型是否能生成反映目标人格特征、同时保持连贯性和内容准确性的故事。
• 建立基于自动指标和定性分析的基准评估协议，用于人格条件化的视觉故事情景生成。

提出的方法

• 以 Kim 等人（2018）提出的预训练视觉故事生成模型作为基线。
• 通过微调，将对话数据集（如 personachat）中的人格嵌入迁移至视觉故事生成任务。
• 提出五种增量模型变体：MPP、LEPC、LEPD、SEPC、SEPD——分别在编码器和解码器的不同层（词级别、上下文级别或两者）注入人格信息。
• 采用图像特征与人格嵌入的晚期融合机制，以引导故事生成。
• 应用人格分类头，评估生成的故事是否与目标人格聚类相匹配。
• 使用 ROUGE-L 评估生成故事与参考故事在内容和结构相似性方面的自动指标。

实验结果

研究问题

• RQ1 能否有效将对话数据集中的人格嵌入迁移至基于图像的视觉故事生成任务中，实现与视觉内容对齐的引导？
• RQ2 哪些架构修改方式（例如，在词级别或上下文级别注入人格）最能保持生成故事中目标人格特征的表达？
• RQ3 不同的人格注入策略如何影响人格分类准确率与 ROUGE 分数？
• RQ4 模型在不损害故事连贯性的前提下，能在多大程度上实现每句话至少包含一个与人格相关联的词语？
• RQ5 是否存在人格忠实度与自动生成质量之间的权衡？该权衡是否可被缓解？

主要发现

• LEPC 模型在五个主要人格聚类中的大多数类别上均实现了最高的人格分类准确率，同时保持了具有竞争力的 ROUGE-L 分数。
• 所有提出的模型（MPP、LEPC、LEPD、SEPC、SEPD）经定性分析确认，均能生成每句话至少一个与目标人格一致的词语。
• 仅在词级别注入人格信息的 SEPC 和 SEPD 模型，在 ROUGE 分数与分类准确率方面表现均较弱，表明孤立的词级别注入存在局限性。
• glocal 基线模型未能捕捉到人格特异性词汇，而人格注入模型则在相关句子中生成了情感一致的词语，如 'excited'（兴奋）、'happy'（快乐）、'surprised'（惊讶）等。
• 定性分析表明，LEPC 和 LEPD 模型相比 SEPC 和 SEPD 模型，更能保持语气和情感一致性，后者在语言流畅性方面有所损失。
• 本研究揭示了在优化人格忠实度与 ROUGE 分数之间存在权衡，提示移除词嵌入可能损害语言模型的先验知识。