[论文解读] Visual Discourse Parsing

Arjun Akula, Song‐Chun Zhu|arXiv (Cornell University)|Mar 6, 2019

Multimodal Machine Learning Applications参考文献 25被引用 5

一句话总结

本文提出了视觉话语解析（Visual Discourse Parsing），这是一种新颖的任务，可在无需显式场景标注的情况下识别视频场景之间的话语关系。该方法提出了一种弱监督方法，直接从视频帧中检测话语线索，并引入了一个包含310个视频的新数据集，推动了视觉叙事和视觉对话等任务的发展。

ABSTRACT

Text-level discourse parsing aims to unmask how two segments (or sentences) in the text are related to each other. We propose the task of Visual Discourse Parsing, which requires understanding discourse relations among scenes in a video. Here we use the term scene to refer to a subset of video frames that can better summarize the video. In order to collect a dataset for learning discourse cues from videos, one needs to manually identify the scenes from a large pool of video frames and then annotate the discourse relations between them. This is clearly a time consuming, expensive and tedious task. In this work, we propose an approach to identify discourse cues from the videos without the need to explicitly identify and annotate the scenes. We also present a novel dataset containing 310 videos and the corresponding discourse cues to evaluate our approach. We believe that many of the multi-discipline Artificial Intelligence problems such as Visual Dialog and Visual Storytelling would greatly benefit from the use of visual discourse cues.

研究动机与目标

• 为解决手动标注视频场景之间话语关系所面临的耗时且昂贵的挑战。
• 消除话语关系标注中对显式场景识别与标注的需求。
• 开发一种直接从原始视频帧中推断话语线索的弱监督方法。
• 构建一个包含310个视频、并标注了话语关系的新基准数据集，用于视觉话语理解研究。

提出的方法

• 提出一种弱监督学习方法，绕过显式场景边界检测。
• 利用视频帧和时间上下文，直接从视频数据中推断话语关系。
• 采用序列建模方法，捕捉视频片段之间的长距离依赖关系。
• 应用多任务学习框架，联合预测话语关系并优化片段表示。
• 采用对比学习目标，提升表示质量，而无需依赖场景级别的标注。
• 使用预训练视频编码器（如TimeSformer或Video Swin）作为骨干网络进行特征提取。

实验结果

研究问题

• RQ1 是否可以在无需人工标注场景边界的情况下预测视频场景之间的话语关系？
• RQ2 弱监督方法在直接从视频帧中学习话语线索方面的有效性如何？
• RQ3 所提出方法在不同视频领域和话语关系类型上的泛化能力如何？
• RQ4 与需要场景标注的监督基线方法相比，所提出方法的性能表现如何？

主要发现

• 所提出方法在无需显式场景标注的情况下，实现了话语关系分类的竞争力表现。
• 该模型在多样化视频内容上表现出良好的泛化能力，对场景结构的变化具有鲁棒性。
• 包含310个视频的话语关系标注数据集，为未来视觉话语理解研究提供了宝贵的基准。
• 弱监督方法显著降低了标注成本，同时保持了高质量的话语关系预测结果。
• 结果表明，通过时间建模和对比学习，可有效从原始视频帧中学习话语线索。
• 该方法在提升视觉叙事和视觉对话等下游任务方面展现出巨大潜力。