[论文解读] GLAC Net: GLocal Attention Cascading Networks for Multi-image Cued Story Generation

Taehyeong Kim, Min-Oh Heo+3 more|arXiv (Cornell University)|May 28, 2018

Multimodal Machine Learning Applications参考文献 31被引用 53

一句话总结

GLAC Net 引入二级本地化注意力与上下文级联，以在多图像故事生成中实现连贯性，在 VIST 数据集上无需大量束搜索即可达到具有竞争力的 METEOR 分数。

ABSTRACT

The task of multi-image cued story generation, such as visual storytelling dataset (VIST) challenge, is to compose multiple coherent sentences from a given sequence of images. The main difficulty is how to generate image-specific sentences within the context of overall images. Here we propose a deep learning network model, GLAC Net, that generates visual stories by combining global-local (glocal) attention and context cascading mechanisms. The model incorporates two levels of attention, i.e., overall encoding level and image feature level, to construct image-dependent sentences. While standard attention configuration needs a large number of parameters, the GLAC Net implements them in a very simple way via hard connections from the outputs of encoders or image features onto the sentence generators. The coherency of the generated story is further improved by conveying (cascading) the information of the previous sentence to the next sentence serially. We evaluate the performance of the GLAC Net on the visual storytelling dataset (VIST) and achieve very competitive results compared to the state-of-the-art techniques. Our code and pre-trained models are available here.

研究动机与目标

• 激发多图像提示的故事生成任务，并强调需要图像特定且上下文连贯的句子。
• 提出具有两级（全局和局部）注意力的 GLAC Net，使每个句子在整体序列上下文和图像特征上都能得到支撑。
• 引入级联机制，将句子级上下文从一个句子传递到下一个句子以提升故事连贯性。
• 在 VIST 数据集上实现有竞争力的性能，并提供代码与预训练模型以确保可重复性。

提出的方法

• 对每张图像使用 ResNet-152 提取特征。
• 用双向 LSTM 对图像序列进行编码，以捕捉全局上下文。
• 通过将图像特定特征与双向 LSTM 输出拼接（硬注意力）来计算 glocal 向量。
• 将 glocal 向量输入解码器，为每张图像生成句子。
• 通过将前一句的最后隐藏状态初始化为当前句子生成器来应用级联机制。
• 使用基于采样/计数的后处理策略以减少重复词汇并增加多样性。

实验结果

研究问题

• RQ1 两级注意力机制（全局上下文和图像特征）是否能提升图像驱动的多图像故事生成？
• RQ2 在序列中对句子级上下文进行级联是否能提升生成故事的整体连贯性？
• RQ3 全局/局部注意力、级联以及后处理组件对 VIST 数据集上标准指标（如 METEOR、困惑度等）的影响有多大？

主要发现

• GLAC Net 在 VIST 数据集上在没有束搜索的情况下与基线具有竞争力。
• 消融实验显示级联、全局注意力、局部注意力和后处理对性能的贡献。
• 完整的 GLAC Net 在测试配置中实现了最好的总体 METEOR 风格表现（在所报告的设置下 METEOR ~0.3014）。
• 用于减少重复（Count）的启发式策略提升 METEOR 并减少重复。
• 与 LSTM Seq2Seq 基线相比，GLAC Net 在评估设置中普遍表现更好。