[论文解读] A dataset and exploration of models for understanding video data through fill-in-the-blank question-answering

Tegan Maharaj, Nicolas Ballas+3 more|arXiv (Cornell University)|Nov 23, 2016

Multimodal Machine Learning Applications参考文献 36被引用 6

一句话总结

本文提出了MovieFIB，一个基于视障人士描述性视频服务（DVS）字幕的大型填空式视频问答数据集，包含三十余万个样本。该研究评估了五种模型，结果表明结合2D与3D视觉特征的模型显著优于仅使用文本的模型，但所有模型与人类表现仍有显著差距，凸显了改进视频理解模型的必要性。

ABSTRACT

While deep convolutional neural networks frequently approach or exceed human-level performance at benchmark tasks involving static images, extending this success to moving images is not straightforward. Having models which can learn to understand video is of interest for many applications, including content recommendation, prediction, summarization, event/object detection and understanding human visual perception, but many domains lack sufficient data to explore and perfect video models. In order to address the need for a simple, quantitative benchmark for developing and understanding video, we present MovieFIB, a fill-in-the-blank question-answering dataset with over 300,000 examples, based on descriptive video annotations for the visually impaired. In addition to presenting statistics and a description of the dataset, we perform a detailed analysis of 5 different models' predictions, and compare these with human performance. We investigate the relative importance of language, static (2D) visual features, and moving (3D) visual features; the effects of increasing dataset size, the number of frames sampled; and of vocabulary size. We illustrate that: this task is not solvable by a language model alone; our model combining 2D and 3D visual information indeed provides the best result; all models perform significantly worse than human-level. We provide human evaluations for responses given by different models and find that accuracy on the MovieFIB evaluation corresponds well with human judgement. We suggest avenues for improving video models, and hope that the proposed dataset can be useful for measuring and encouraging progress in this very interesting field.

研究动机与目标

• 为解决视频理解模型缺乏大规模、定量基准的问题。
• 提出一种可扩展的、自动化的视频问答数据生成方法，利用现有的描述性视频字幕。
• 评估语言、静态（2D）和动态（3D）视觉特征在视频理解中的相对贡献。
• 评估训练数据规模和模型架构对性能的影响。
• 验证MovieFIB上的分类准确率是否与人类判断具有一致性。

提出的方法

• 通过自动从DVS字幕中生成填空式问题，将一个关键词（实体、动作或属性）遮蔽。
• 训练五种基线模型：一种仅使用LSTM语言建模的文本模型，以及结合GoogLeNet提取的2D视觉特征与C3D提取的3D运动特征的模型。
• 使用预训练的CNN模型（GoogLeNet用于2D，C3D用于3D）提取视觉特征，并通过拼接方式融合，再通过MLP进行分类。
• 在包含30万个样本的数据集上训练和评估模型，性能通过在空白词上的top-1准确率衡量。
• 通过Amazon Mechanical Turk进行人工评估，比较模型输出与人类判断在相关性和正确性方面的差异。
• 对词汇表大小、采样帧数和训练集大小等超参数进行消融实验。

实验结果

研究问题

• RQ1 基于DVS字幕的填空式问答任务能否作为视频理解的稳健且可扩展的基准？
• RQ2 仅使用语言的模型在该视频问答任务中能取得多大程度的成功？
• RQ3 2D与3D视觉特征在单独和联合使用时，对模型性能的贡献如何？
• RQ4 增加训练数据规模对模型准确率的影响如何，特别是对视觉模型与仅文本模型的对比？
• RQ5 MovieFIB上的模型准确率是否与人类对回答质量的评估具有一致性？

主要发现

• 仅使用语言模型无法解决填空任务，表明视觉理解对于此视频理解基准至关重要。
• 结合2D与3D视觉特征的模型表现最佳，表明空间与时间视觉线索对准确理解视频均至关重要。
• 所有模型的表现均显著低于人类水平，人类在验证集上的准确率远超最佳模型的21.0%，表明当前模型能力存在巨大差距。
• 视频模型的性能随训练数据规模增加而提升得更快，表明视觉模型从数据规模中获益更多。
• 每个答案词的真正例率与训练集中该词的词频高度相关，表明罕见词仍是主要挑战。
• MovieFIB上的模型准确率与人类评估高度相关，证实分类准确率是衡量视频理解模型性能的可靠指标。