[论文解读] Learning Visual Storylines with Skipping Recurrent Neural Networks

Gunnar A. Sigurdsson, Xinlei Chen+1 more|arXiv (Cornell University)|Apr 14, 2016

Advanced Image and Video Retrieval Techniques参考文献 42被引用 10

一句话总结

本文提出跳过循环神经网络（S-RNN），通过跳过非信息性的连续图像转换，从网络相册中学习长期视觉叙事。通过聚焦显著且时间连贯的图像子集，S-RNN 在学习潜在叙事结构方面优于LSTM和RNN，图像预测与相册摘要任务中人类偏好度达70%，优于基线模型。

ABSTRACT

What does a typical visit to Paris look like? Do people first take photos of the Louvre and then the Eiffel Tower? Can we visually model a temporal event like "Paris Vacation" using current frameworks? In this paper, we explore how we can automatically learn the temporal aspects, or storylines of visual concepts from web data. Previous attempts focus on consecutive image-to-image transitions and are unsuccessful at recovering the long-term underlying story. Our novel Skipping Recurrent Neural Network (S-RNN) model does not attempt to predict each and every data point in the sequence, like classic RNNs. Rather, S-RNN uses a framework that skips through the images in the photo stream to explore the space of all ordered subsets of the albums via an efficient sampling procedure. This approach reduces the negative impact of strong short-term correlations, and recovers the latent story more accurately. We show how our learned storylines can be used to analyze, predict, and summarize photo albums from Flickr. Our experimental results provide strong qualitative and quantitative evidence that S-RNN is significantly better than other candidate methods such as LSTMs on learning long-term correlations and recovering latent storylines. Moreover, we show how storylines can help machines better understand and summarize photo streams by inferring a brief personalized story of each individual album.

研究动机与目标

• 为从网络照片数据中建模如巴黎或婚礼等概念的长期视觉叙事。
• 解决RNN因照片流中强短期相关性而难以捕捉长期依赖关系的局限性。
• 开发一种无监督方法，在推断个性化相册叙事的同时学习全局叙事模式。
• 通过利用学习到的叙事结构，提升图像预测与照片相册摘要性能。
• 评估时间排序与跳过机制是否能提升模型性能，相较于标准RNN和LSTM。

提出的方法

• S-RNN使用基于注意力的采样机制，跳过照片流中的图像，避免冗余的连续转换。
• 通过优化损失函数，使模型学习到全局叙事，该函数鼓励选择时间连贯且多样化的图像子集。
• 利用CNN特征进行视觉表征，并应用循环结构建模所选图像子集的时间动态。
• 在Flickr照片相册上以无监督方式训练该框架，利用时间戳元数据引导时间排序。
• 采用两阶段流程：首先，为每个概念学习全局叙事；其次，利用全局模型推断每个相册的个性化叙事。
• 后处理将所选图像重新排序为连贯的叙事序列，用于摘要与预测任务。

实验结果

研究问题

• RQ1 我们能否在不依赖连续图像预测的情况下，从网络相册中学习到有意义的长期视觉叙事？
• RQ2 跳过非信息性转换在多大程度上改善了照片流中潜在时间结构的学习？
• RQ3 S-RNN在建模视觉序列中的长期相关性方面，相较于标准RNN和LSTM，性能提升程度如何？
• RQ4 学习到的叙事结构能否改善图像预测与照片相册摘要任务？
• RQ5 引入时间戳元数据是否显著提升了生成摘要的质量？

主要发现

• 在摘要质量比较中，S-RNN获得70%的人类偏好，优于所有基线模型，包括人类生成的摘要（人类偏好率为59.5%）。
• S-RNN在学习长期叙事结构方面显著优于LSTM和RNN，尤其在巴黎、伦敦等旅行相关概念上表现突出。
• 使用时间信息训练的S-RNN在生成摘要时获得68.4%的人类偏好，优于使用打乱数据训练的同一模型，证明时间信息能显著提升摘要质量。
• 该模型在基于地标的概念（如巴黎、伦敦）上表现尤为出色，能有效捕捉顺序观光模式。
• 即使简单的基线方法（如Local和Sample）在结合时间重排后也能表现良好，但在噪声较大的相册中表现失败，凸显S-RNN的鲁棒性。
• 将一个概念（如婚礼）的叙事知识迁移至另一概念（如深海潜水或巴黎）可生成语义相关的摘要，证明了模型的泛化能力。