[论文解读] MERLOT: Multimodal Neural Script Knowledge Models

Rowan Zellers, Ximing Lu+6 more|arXiv (Cornell University)|Jun 4, 2021

Multimodal Machine Learning Applications参考文献 125被引用 54

一句话总结

MERLOT 利用自监督目标从 6 百万段 YouTube 视频中学习多模态剧本知识，在 12 个视频问答任务上达到最先进结果并迁移到图像。

ABSTRACT

As humans, we understand events in the visual world contextually, performing multimodal reasoning across time to make inferences about the past, present, and future. We introduce MERLOT, a model that learns multimodal script knowledge by watching millions of YouTube videos with transcribed speech -- in an entirely label-free, self-supervised manner. By pretraining with a mix of both frame-level (spatial) and video-level (temporal) objectives, our model not only learns to match images to temporally corresponding words, but also to contextualize what is happening globally over time. As a result, MERLOT exhibits strong out-of-the-box representations of temporal commonsense, and achieves state-of-the-art performance on 12 different video QA datasets when finetuned. It also transfers well to the world of static images, allowing models to reason about the dynamic context behind visual scenes. On Visual Commonsense Reasoning, MERLOT answers questions correctly with 80.6% accuracy, outperforming state-of-the-art models of similar size by over 3%, even those that make heavy use of auxiliary supervised data (like object bounding boxes). Ablation analyses demonstrate the complementary importance of: 1) training on videos versus static images; 2) scaling the magnitude and diversity of the pretraining video corpus; and 3) using diverse objectives that encourage full-stack multimodal reasoning, from the recognition to cognition level.

研究动机与目标

• 从未标注的视频和语音数据中激发常识、时间推理和多模态世界知识的学习。
• 开发一个自监督预训练框架，将视频帧与逐字稿对齐并随时间进行情境化。
• 评估对下游视觉-语言任务的迁移能力，包括视频问答和静态图像推理。
• 发布多样的 YouTube 派生语料和开源模型，以促进对多模态时间推理的研究。

提出的方法

• 在 6 百万段未标注的 YouTube 视频上进行 MERLOT 的预训练；每段包含一个帧和一个口语逐字稿段落。
• 使用一个联合的视觉-语言 Transformer 编码帧和逐字稿段，学习跨模态表示。
• 三个预训练目标：(i) 对照帧-逐字稿匹配以对齐帧及其上下文化的逐字稿，(ii) 带注意力掩码的掩码语言模型以重建有 grounding 的词语，(iii) 时间顺序重新排序以学习事件随时间的顺序。
• 在 YT-Temporal-180M 上进行训练，这是一个多样化的语料库；使用基于网格的图像编码器（ResNet-50 + Vision Transformer）和一个 12 层 RoBERTa 风格的联合编码器。
• 在下游任务上进行微调，覆盖 14 个数据集，包括 12 个视频推理基准和 VCR（视觉常识推理）。
• 发布代码、数据和模型供研究使用。

实验结果

研究问题

• RQ1 是否可以从未标注的视频和逐字稿中学习多模态剧本知识，而无需人工标注？
• RQ2 帧级和视频级目标是否互为补充，以提升时间和多模态推理？
• RQ3 视频训练出的表征对需要时间或叙事理解的静态图像推理任务的迁移效果如何？
• RQ4 数据多样性、预训练时长和目标设计对下游性能的影响是什么？

主要发现

• MERLOT 在微调后对 12 个下游视频推理任务达到最先进的结果。
• 在 Visual Commonsense Reasoning (VCR) 上，MERLOT 的准确率为 80.6%，比可比基线高出超过 3%。
• 在表 1 中，MERLOT（基础规模）达到 Spearman 0.733、Pairwise accuracy 84.5、Distance 0.498，超越 CLIP（0.609、78.7、0.638）和 UNITER（0.545、75.2、0.745）。
• 在视频上进行预训练（不仅是图像）并增加视频多样性可提升性能；更长的预训练会带来持续的收益。
• MERLOT 可迁移到静态图像并在如解构视觉故事等任务中展示时间常识推理，优于依赖图像-字幕对的基线。