[论文解读] MarioQA: Answering Questions by Watching Gameplay Videos

Jonghwan Mun, Paul Hongsuck Seo+2 more|arXiv (Cornell University)|Dec 6, 2016

Multimodal Machine Learning Applications参考文献 28被引用 7

一句话总结

本文提出MarioQA，一个从《超级马里奥兄弟》游戏视频和问题模板生成的合成视频问答数据集，用于评估视频问答模型中的时间推理能力。该框架支持对不同推理复杂度下模型性能的受控分析，表明通过构建包含多样化时间依赖关系的数据集，特别是训练时包含复杂时间推理样本，能显著提升模型准确率。

ABSTRACT

We present a framework to analyze various aspects of models for video question answering (VideoQA) using customizable synthetic datasets, which are constructed automatically from gameplay videos. Our work is motivated by the fact that existing models are often tested only on datasets that require excessively high-level reasoning or mostly contain instances accessible through single frame inferences. Hence, it is difficult to measure capacity and flexibility of trained models, and existing techniques often rely on ad-hoc implementations of deep neural networks without clear insight into datasets and models. We are particularly interested in understanding temporal relationships between video events to solve VideoQA problems; this is because reasoning temporal dependency is one of the most distinct components in videos from images. To address this objective, we automatically generate a customized synthetic VideoQA dataset using {\em Super Mario Bros.} gameplay videos so that it contains events with different levels of reasoning complexity. Using the dataset, we show that properly constructed datasets with events in various complexity levels are critical to learn effective models and improve overall performance.

研究动机与目标

• 为解决缺乏标准化、可分析的视频问答数据集，以隔离并度量时间推理能力的问题。
• 开发一种可自定义的合成框架，用于生成具有受控推理复杂度水平的视频问答数据集。
• 评估数据集构建方式——特别是时间推理的引入——对视频问答模型性能的影响。
• 提供一个可靠、明确的基准，用于分析视频问答模型，超越静态帧推理的范畴。

提出的方法

• 使用《超级马里奥兄弟》的游戏视频及其相关事件日志，自动生成合成的视频问答数据集。
• 定义一组可重用的问题模板，从事件级别标注中生成语言多样、语义基础坚实的问题。
• 构建三个不同子集（NT、ET、HT），其时间推理复杂度逐步提升：非时间性、基于事件的、高层次因果推理。
• 利用该数据集训练并评估多种神经网络架构，包括基于注意力的模型和全局上下文（GC）模型。
• 控制数据集的大小和构成，以隔离训练数据复杂度对模型泛化能力和性能的影响。
• 通过在不同子集组合上进行训练，开展消融研究，以衡量增加复杂推理样本带来的性能提升。

实验结果

研究问题

• RQ1 在训练数据中包含时间复杂推理样本，对视频问答模型性能有何影响？
• RQ2 在仅包含简单非时间性问题的模型上，其泛化能力在多大程度上可适用于更复杂的时间依赖性问题？
• RQ3 在中间复杂度时间推理（ET）上训练的模型，能否提升在高层次推理（HT）任务上的表现？
• RQ4 增加复杂推理数据带来的性能提升，是源于数据量的增加，还是源于样本本身的内在复杂性？
• RQ5 不同神经网络架构（如基于注意力的模型与全局上下文模型）在训练数据中推理复杂度变化时，其响应有何差异？

主要发现

• 在高复杂度HT子集上进行训练，显著提升了模型在所有子集（包括非时间性NT子集）上的准确率，表明复杂推理数据有助于提升泛化能力。
• ET子集的加入在所有模型中带来了最显著的性能提升，尤其在ET和HT子集上，证明其在学习时间关系方面的价值。
• 即使训练样本数量更少，仅在ET和HT子集上训练的模型在NT子集上也表现出一致的性能提升，证明数据质量（复杂性）比单纯的数据量更为关键。
• 全局上下文（GC）模型在训练后期阶段优于基于注意力的模型，表明当在结构良好、复杂的训练数据上训练时，更简单的架构可能更有效。
• 在训练数据中加入ET和HT子集带来的性能增益在所有模型中均保持一致，表明收益源于样本本身的特性，而非数据量的增加。
• 在全部三个子集（NT+ET+HT）上联合训练的模型在联合测试集上取得了58.35%的最高总体准确率，证实全面的数据集构建对高性能至关重要。