[论文解读] How to Make a BLT Sandwich? Learning to Reason towards Understanding Web Instructional Videos

Shaojie Wang, Wentian Zhao+2 more|arXiv (Cornell University)|Dec 2, 2018

Multimodal Machine Learning Applications参考文献 23被引用 5

一句话总结

本文提出了 YouQuek，这是首个面向教学视频的推理导向问答数据集，并提出了一种新颖的循环图卷积网络（RGCN），通过融合时序顺序与关系结构以提升视频理解能力。RGCN 在问答任务中达到最先进性能，其中人工标注的描述显著提升了准确率，而转录文本则因质量低且信息稀疏而降低性能。

ABSTRACT

Understanding web instructional videos is an essential branch of video understanding in two aspects. First, most existing video methods focus on short-term actions for a-few-second-long video clips; these methods are not directly applicable to long videos. Second, unlike unconstrained long videos, e.g., movies, instructional videos are more structured in that they have step-by-step procedure constraining the understanding task. In this paper, we study reasoning on instructional videos via question-answering (QA). Surprisingly, it has not been an emphasis in the video community despite its rich applications. We thereby introduce YouQuek, an annotated QA dataset for instructional videos based on the recent YouCook2. The questions in YouQuek are not limited to cues on one frame but related to logical reasoning in the temporal dimension. Observing the lack of effective representations for modeling long videos, we propose a set of carefully designed models including a novel Recurrent Graph Convolutional Network (RGCN) that captures both temporal order and relation information. Furthermore, we study multiple modalities including description and transcripts for the purpose of boosting video understanding. Extensive experiments on YouQuek suggest that RGCN performs the best in terms of QA accuracy and a better performance is gained by introducing human annotated description.

研究动机与目标

• 为解决教学视频理解中缺乏推理导向数据集的问题。
• 开发能够超越帧级识别、实现更高阶推理（包括时序、因果与关联推理）的模型。
• 探究多模态输入（尤其是人工标注描述）在提升视频问答性能方面的有效性。
• 在理解教学视频方面，对机器性能与人类推理能力进行基准对比。
• 探索如何融合基于图的建模与序列建模，以增强长时教学视频中的推理能力。

提出的方法

• 从 YouCook2 数据集标注 15,355 组问答对，涵盖计数、排序、比较及属性变化等推理类型。
• 设计一种循环图卷积网络（RGCN），通过循环神经网络（RNN）联合建模时序顺序，通过图结构建模关系依赖，实现在保留序列结构的同时实现节点间的消息传递。
• 引入注意力机制（RGCN-SA），通过聚焦相关视频片段与推理步骤，增强特征表示能力。
• 将视觉特征与多模态输入（人工标注描述与自动转录文本）结合，对齐至时间边界。
• 采用双路径架构，使图分支与 RNN 分支相互交换信息，协同提升推理性能。
• 通过消融研究与多模态实验，评估各模态及模型组件的贡献。

实验结果

研究问题

• RQ1 推理导向的问答数据集能否提升教学视频中高阶视频理解的评估效果？
• RQ2 循环图卷积网络（RGCN）在建模教学视频中的时序顺序与关系结构方面效果如何？
• RQ3 与原始转录文本或仅使用视觉特征相比，人工标注描述在多大程度上能提升视频问答准确率？
• RQ4 多模态输入（尤其是描述）能否弥合机器与人类在视频推理任务中的性能差距？
• RQ5 为何自动生成的转录文本尽管是文本输入，却会降低性能？

主要发现

• RGCN 模型在所有测试模型中达到最高整体问答准确率，即使未使用注意力机制。
• RGCN-SA（RGCN 的注意力增强版本）在多项选择与 K-Space 评估指标上均表现最佳。
• 将人工标注描述与视觉特征结合可显著提升准确率，而转录文本因质量低且信息稀疏反而降低性能。
• 即使无视觉输入，人类在问答任务中仍能达到 52.8% 的准确率，表明其高度依赖常识与生活经验，尤其在‘何时’与‘味道’类问题上。
• 视觉特征与描述的结合在所有模型架构中均取得最高准确率，证明了高质量人工标注叙事的价值。
• RGCN-SA 在‘计数’类问题上超越人类表现，表明当训练充分时，机器在特定推理类型上可超越人类。