[论文解读] Remembering Winter Was Coming: Character-Oriented Video Summaries of TV Series

Xavier Bost, Serigne Guèye+5 more|arXiv (Cornell University)|Jan 1, 2019

Video Analysis and Summarization参考文献 26被引用 6

一句话总结

本文提出一种面向电视剧的基于角色的视频摘要方法，通过分析角色互动的社会网络动态，并结合电影制作语法（如镜头大小、背景音乐）来生成引人入胜的剧情回顾。在真实世界用户研究中，该方法生成的摘要能有效帮助观众在新季开播前重新投入剧情，其中基于风格的特征增强了作为预告片的感知相关性，但完整摘要在捕捉叙事完整性方面表现更优。

ABSTRACT

Figures used in the article "Remembering Winter Was Coming: Character-oriented Video Summaries of TV Series", Xavier Bost, Serigne Gueye, Vincent Labatut, Martha Larson, Georges Linarès, Damien Malinas &amp; Raphaël Roth, Multimedia Tools and Applications, 2019.https://link.springer.com/article/10.1007/s11042-019-07969-4<br>https://hal.archives-ouvertes.fr/hal-02278188https://arxiv.org/abs/1909.02423<br>

研究动机与目标

• 为解决观众在长时间中断后重返长篇电视剧时出现的参与度下降问题。
• 开发一种自动化的角色导向视频摘要方法，以有效回顾复杂且连续的剧集叙事。
• 不仅通过剧情节点建模剧情推进，还通过检测角色社交网络随时间的显著变化来实现。
• 结合社交相关性与风格显著性（如镜头大小、音乐）以识别并突出关键叙事时刻。
• 在真实世界场景中评估该方法，衡量用户对摘要作为剧情回顾与预告片的有效性感知。

提出的方法

• 该方法首先根据剧情连贯性与互动模式，将角色的剧情线划分为叙事段落。
• 针对每个段落，通过分析角色社交网络的变化来计算社交相关性，重点关注新关系或重要关系的出现。
• 基于这些叙事段落提取候选视频片段，并根据社交相关性加权，以优先突出关键剧情发展。
• 通过中层视觉与音频特征计算风格显著性：如镜头大小（例如特写）和背景音乐强度，以识别电影化的强调效果。
• 最终摘要通过结合高社交相关性片段与风格显著性片段构建，确保叙事连贯性与情感冲击力。
• 采用两阶段评估框架：参与者将摘要分类为‘剧情回顾’（叙事完整性）或‘预告片’（吸引力与兴奋感）。

实验结果

研究问题

• RQ1 通过动态社交网络变化建模角色剧情线，能否有效识别用于摘要的关键剧情发展？
• RQ2 镜头大小与背景音乐等风格特征在多大程度上增强了角色导向摘要中视频片段的感知显著性？
• RQ3 与基线方法相比，角色导向摘要在帮助观众在新季开播前重新投入电视剧方面表现如何？
• RQ4 社交相关性与风格显著性的结合是否能生成既全面又具吸引力的摘要？
• RQ5 观众如何感知生成摘要中叙事完整性（剧情回顾）与情感期待（预告片）之间的平衡？

主要发现

• 在丹妮莉丝的剧情中，35.8%的参与者将完整摘要评为最佳剧情回顾，显著优于基于风格的摘要在叙事完整性方面的表现。
• 在五位角色中的四位中，当作为剧情回顾评估时，完整摘要的得分高于基于风格的摘要，表明其对关键剧情节点的覆盖更佳。
• 在五位角色中，有四位的基于风格的摘要被选为预告片的首选，其中三位在‘预告片’标准下获得多数票，表明其具有较强的吸引力潜力。
• 丹妮莉丝的完整摘要虽捕捉了她与提利昂·兰尼斯特会面的情节，但有时仍被拒绝，因为观众更重视龙的视觉形象——凸显象征性意象对叙事深度的影响力。
• 提恩的完整摘要得分较低，可能因缺少关键剧集如《冬宫陷落》和《与珊莎的最终重逢》，表明叙事缺失会显著降低摘要的感知质量。
• 艾莉亚的基于风格的摘要因缺少最后一集叙事段落（第五季），导致观众感知为不完整，凸显了仅依赖风格显著性处理短篇或高潮剧集的风险。