[论文解读] Keep it Consistent: Topic-Aware Storytelling from an Image Stream via Iterative Multi-agent Communication

Ruize Wang, Zhongyu Wei+6 more|arXiv (Cornell University)|Nov 11, 2019

Multimodal Machine Learning Applications参考文献 40被引用 5

一句话总结

本文提出 TAVST，一种主题感知的视觉叙事框架，通过迭代式多智能体通信联合训练主题描述生成器与故事生成器，提升叙事连贯性。通过建模全局语义上下文并实现跨任务信息共享，该方法在 VIST 数据集上实现了最先进性能，显著提升了主题一致性和人工评分质量。

ABSTRACT

Visual storytelling aims to generate a narrative paragraph from a sequence of images automatically. Existing approaches construct text description independently for each image and roughly concatenate them as a story, which leads to the problem of generating semantically incoherent content. In this paper, we propose a new way for visual storytelling by introducing a topic description task to detect the global semantic context of an image stream. A story is then constructed with the guidance of the topic description. In order to combine the two generation tasks, we propose a multi-agent communication framework that regards the topic description generator and the story generator as two agents and learn them simultaneously via iterative updating mechanism. We validate our approach on VIST dataset, where quantitative results, ablations, and human evaluation demonstrate our method's good ability in generating stories with higher quality compared to state-of-the-art methods.

研究动机与目标

• 为解决忽略全局上下文导致图像序列叙事语义不连贯的问题。
• 将图像序列的全局语义上下文（主题）建模为故事生成的引导信号。
• 通过迭代式多智能体通信框架，联合训练主题描述与故事生成。
• 通过共享信息交换，提升生成故事在相关性、表现力和主题一致性方面的质量。

提出的方法

• 该框架使用基于 CNN 的视觉编码器提取图像特征，随后通过双向 GRU 建模序列视觉上下文。
• 主题描述生成器从图像序列的视觉特征中生成全局主题向量。
• 故事生成器通过注意力机制，结合视觉特征与主题向量，构建初始故事句子。
• 迭代更新（IU）模块实现主题生成器与故事情绪生成器之间的双向信息传递，通过多轮迭代优化双方输出。
• 多智能体通信框架使两个生成器能通过共享上下文与反馈，迭代改进彼此的输出。
• 模型采用端到端监督学习进行训练，可扩展至强化学习以实现进一步优化。

实验结果

研究问题

• RQ1 建模图像序列的全局语义上下文是否能提升视觉叙事中的叙事连贯性？
• RQ2 主题生成器与故事情绪生成器之间的迭代通信如何提升叙事质量？
• RQ3 联合训练主题描述与故事情绪生成是否能减少生成故事中的语义不连贯与情感不一致？
• RQ4 所提出的多智能体框架相较于自回归或独立生成基线方法，在主题一致性和流畅性方面表现如何？
• RQ5 主题引导在多大程度上提升了基准数据集上的人工评分叙事质量？

主要发现

• 所提出的 TAVST 模型在 VIST 数据集上达到最先进性能，在自动评估与人工评估指标上均优于现有方法。
• 人工评估显示，TAVST 生成的故事在相关性、表现力与主题一致性方面显著优于基线模型。
• 该模型有效捕捉情感差异——在事故场景中正确生成负面情感，在欢乐事件中生成正面情感，而 VST 与 AREL 等模型则无法区分情感基调。
• 消融实验确认，迭代式多智能体通信机制对性能提升至关重要，尤其在主题一致性方面。
• 案例研究显示，TAVST 生成的故事具有更强的主题连贯性，主题在所有句子中均得到清晰体现。
• 主题描述生成器能生成可解释、语义有意义的图像序列摘要，增强模型可解释性并有效引导故事生成。