[论文解读] Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books

Yukun Zhu, Ryan Kiros+5 more|arXiv (Cornell University)|Jun 22, 2015

Multimodal Machine Learning Applications参考文献 34被引用 298

一句话总结

本文提出一种基于条件随机场（CRF）的模型，通过利用视觉、文本和对话信号，将电影镜头与对应书籍段落对齐。该方法通过联合建模跨模态对齐，实现类故事的视觉解释，关键结果表明，通过对话对齐可提高对齐保真度，而从更广泛的书籍语料库（200本书）中借用内容则可提升连贯性。

ABSTRACT

Books are a rich source of both fine-grained information, how a character, an object or a scene looks like, as well as high-level semantics, what someone is thinking, feeling and how these states evolve through a story. This paper aims to align books to their movie releases in order to provide rich descriptive explanations for visual content that go semantically far beyond the captions available in current datasets. To align movies and books we exploit a neural sentence embedding that is trained in an unsupervised way from a large corpus of books, as well as a video-text neural embedding for computing similarities between movie clips and sentences in the book. We propose a context-aware CNN to combine information from multiple sources. We demonstrate good quantitative performance for movie/book alignment and show several qualitative examples that showcase the diversity of tasks our model can be used for.

研究动机与目标

• 通过将电影镜头与书籍中的相应叙事段落对齐，实现类故事的视觉解释。
• 通过利用文本和对话内容对齐，解决视频中视觉信号微弱的挑战。
• 探究当模型被迫从无关书籍中选择时，是否能涌现出有意义的跨书对齐。
• 评估候选书籍数量增加对对齐质量与叙事连贯性的影响。

提出的方法

• 使用条件随机场（CRF）对电影镜头与书籍段落之间的序列依赖关系进行建模。
• 采用上下文卷积神经网络（CNN）基于视觉、文本和字幕特征，计算视频镜头与书籍段落之间的相似度得分。
• 将对话原文作为强信号用于对齐，尤其在视觉线索模糊时发挥关键作用。
• 通过零样本对齐方式，将镜头与来自多样化书籍（包括不对应书籍）的段落进行匹配。
• 开展两项实验：10本书（候选书籍有限）和200本书（广泛语料）设置，以评估泛化能力与连贯性。
• 利用帧级视觉特征和字幕重叠，在CRF框架中优化镜头到段落的对齐。

实验结果

研究问题

• RQ1 联合建模视觉、文本和对话信号是否能有效对齐电影镜头与书籍段落？
• RQ2 当视觉特征微弱时，电影与书籍之间对话的一致性在多大程度上能提升对齐准确率？
• RQ3 模型能否通过从无关书籍中借用段落，生成合理且类故事的解释？
• RQ4 将候选书籍数量从10本增加到200本，是否能带来更连贯且更有意义的跨书对齐？
• RQ5 上下文化的文本特征在消除视觉-句子对齐歧义方面发挥何种作用？

主要发现

• 与书籍文本高度一致的电影对话显著提升了对齐准确率，通过将视觉内容与文本对齐实现。
• 在10本书的实验中，来自无关书籍的最高分匹配仍显示较低相似度，表明缺乏更广泛上下文时连贯性有限。
• 在200本书的实验中，模型生成的对齐结果日益连贯且类故事化，表明更大的书籍语料库可增强叙事合理性。
• CRF模型成功利用周围段落的上下文线索，将对齐精度提升至超过孤立镜头-书籍匹配的水平。
• 仅依赖视觉和字幕特征不足以实现强对齐；对话一致性是实现对齐的关键信号。
• 该模型展示了即使源书籍与电影不匹配，也能通过从多样化书籍语料库中借用内容，生成合理且类故事的解释。