[论文解读] Learning Video-Story Composition via Recurrent Neural Network

Guangyu Zhong, Yi‐Hsuan Tsai+3 more|arXiv (Cornell University)|Jan 31, 2018

Video Analysis and Summarization参考文献 27被引用 3

一句话总结

本文提出了一种基于学习的视频故事构图框架，采用双流循环神经网络（RNN）联合建模时空语义与运动动态，以预测连贯的视频片段序列。通过将语义与运动RNN输出融合为连贯性得分，并利用子模排序对顺序进行优化以匹配叙事结构，该方法在基准数据集上优于当前最先进方法，实现了更高质量的视频故事。

ABSTRACT

In this paper, we propose a learning-based method to compose a video-story from a group of video clips that describe an activity or experience. We learn the coherence between video clips from real videos via the Recurrent Neural Network (RNN) that jointly incorporates the spatial-temporal semantics and motion dynamics to generate smooth and relevant compositions. We further rearrange the results generated by the RNN to make the overall video-story compatible with the storyline structure via a submodular ranking optimization process. Experimental results on the video-story dataset show that the proposed algorithm outperforms the state-of-the-art approach.

研究动机与目标

• 为解决从无组织视频片段中构图连贯、具有叙事结构的视频故事的挑战。
• 在视觉外观模糊或运动中断等情况下，超越手工设计特征，建模视频片段间的时序连贯性。
• 通过与标准叙事结构（铺垫、上升动作、高潮、结局）对齐，提升视频故事质量。
• 开发一种无监督学习框架，避免依赖昂贵的视频摘要或字幕标注真值数据。

提出的方法

• 训练双流RNN以建模连贯性：一路使用片段级特征编码时空语义，另一路通过光流捕捉运动动态。
• 两个RNN分别生成片段间转移的概率得分，融合后生成片段间的联合连贯性得分。
• 通过贪心策略基于先前选择结果，选取连贯性得分最高的下一个片段，生成初始序列。
• 应用子模排序优化，重新组织初始序列以更好地匹配叙事结构，强调上升动态与高潮结局。
• 该框架以无监督方式训练，利用真实视频数据，无需人工故事标注。
• 最终通过求解子模排序问题生成视频故事，确保过渡平滑与叙事一致性。

实验结果

研究问题

• RQ1 基于学习的RNN模型能否有效捕捉视频片段间的时序连贯性，尤其在视觉外观模糊的情况下？
• RQ2 与基于特征匹配的基线方法相比，联合建模时空语义与运动动态在多大程度上提升了所构图视频故事的质量？
• RQ3 通过子模排序引入叙事结构（如高潮、结局）在多大程度上增强了最终视频故事的感知质量与连贯性？
• RQ4 该方法是否能泛化到包含多样化场景与动态内容的视频集合，如滑板或花园中行走的场景？

主要发现

• 在用户偏好研究中，所提方法的Bradley-Terry模型得分为1.22，显著优于基线（0.88）与Plot Analysis方法（0.85）。
• 在包含滑板等动态动作的BR视频数据集上，子模排序过程显著提升了视觉连贯性与过渡平滑度，优于基线RNN。
• 双流RNN基线在逐项连贯性评估中AUC（受试者工作特征曲线下面积）高于当前最先进方法Plot Analysis，表明其对片段关系的表示学习能力更强。
• 在场景相似但动态多变的复杂场景中，该方法表现出显著优势，而基于特征的方法（如Plot Analysis）因相似性模糊而失效。
• 失败案例主要出现在平淡或无关紧要的场景（如博物馆参观），因内容变化小、叙事冲击力弱导致。
• 子模排序过程在动态环境中有效提升了结果，通过平衡运动动态与语义连贯性，使故事构图更具吸引力。