[论文解读] MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form Video Question Answering

Difei Gao, Luowei Zhou+4 more|arXiv (Cornell University)|Dec 19, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

MIST 提出了一种用于长视频问答的多模态迭代时空变换器，通过将密集自注意力分解为级联的、与问题相关的片段和区域选择模块，实现了对多个事件和多粒度信息的高效、可解释性推理。该方法在 AGQA、NExT-QA、STAR 和 Env-QA 数据集上实现了最先进性能，同时提升了计算效率与可解释性。

ABSTRACT

To build Video Question Answering (VideoQA) systems capable of assisting humans in daily activities, seeking answers from long-form videos with diverse and complex events is a must. Existing multi-modal VQA models achieve promising performance on images or short video clips, especially with the recent success of large-scale multi-modal pre-training. However, when extending these methods to long-form videos, new challenges arise. On the one hand, using a dense video sampling strategy is computationally prohibitive. On the other hand, methods relying on sparse sampling struggle in scenarios where multi-event and multi-granularity visual reasoning are required. In this work, we introduce a new model named Multi-modal Iterative Spatial-temporal Transformer (MIST) to better adapt pre-trained models for long-form VideoQA. Specifically, MIST decomposes traditional dense spatial-temporal self-attention into cascaded segment and region selection modules that adaptively select frames and image regions that are closely relevant to the question itself. Visual concepts at different granularities are then processed efficiently through an attention module. In addition, MIST iteratively conducts selection and attention over multiple layers to support reasoning over multiple events. The experimental results on four VideoQA datasets, including AGQA, NExT-QA, STAR, and Env-QA, show that MIST achieves state-of-the-art performance and is superior at computation efficiency and interpretability.

研究动机与目标

• 解决在长视频中进行复杂、多事件和多粒度推理的挑战，因为现有模型受限于计算成本和推理能力有限。
• 通过引入级联选择机制，克服长视频中密集自注意力的局限性，仅聚焦于与问题相关的片段和区域。
• 通过堆叠的选择与注意力模块实现对多个事件的迭代推理，提升时间推理和因果推理任务的性能。
• 通过高效微调预训练模型，弥合在短视频/图像上预训练与下游长视频问答任务之间的领域差距。
• 在保持或提升长视频理解基准性能的同时，增强模型的可解释性与计算效率。

提出的方法

• 将标准的密集时空自注意力分解为两部分：一种级联选择模块，根据问题上下文动态选择相关的视频片段和图像区域。
• 采用与问题相关的选择机制，在多层中迭代优化与问题相关的视觉元素集合，以支持对多个事件的推理。
• 在选定的片段和区域上应用多模态、多粒度自注意力，以建模不同粒度下视觉概念之间的复杂交互。
• 实施两阶段流程：首先使用可微采样策略（有放回或无放回）选择 top-k 片段和区域，然后通过学习的注意力机制对它们进行注意力计算。
• 引入一种非参数注意力变体用于消融实验，利用预训练的视觉和问题特征计算匹配分数，无需可学习参数。
• 采用端到端的迭代优化方式训练模型，使选择与注意力模块能够联合优化问题相关性与推理准确性。

Figure 1 : Main challenges of long-form VideoQA. The questions for long-form VideoQA usually involve multi-event, multi-grained, and causality reasoning.

实验结果

研究问题

• RQ1 与密集自注意力相比，级联选择机制是否能提升长视频问答中的推理效率与准确性？
• RQ2 迭代的多层选择机制在多事件和复杂视觉交互的长视频中，如何增强推理能力？
• RQ3 通过选择性注意力，预训练的视觉与语言模型在多大程度上能有效适应长视频问答任务，而无需引入领域偏移？
• RQ4 所提出的方法是否在捕捉长视频中的多粒度与多事件推理方面，优于稀疏采样基线方法？
• RQ5 与标准注意力机制相比，该模型的可解释性如何，特别是在定位相关视频片段和区域方面？

主要发现

• MIST 在四个长视频问答基准数据集（AGQA、NExT-QA、STAR 和 Env-QA）上实现了最先进性能，显著优于先前方法。
• 在 AGQA v1 上，MIST 达到 58.26% 的整体准确率，比之前的 SOTA 方法（Temp[ATP]）高出 4.09 个百分点，且使用了相同的视觉特征。
• 选择模块中采用有放回采样的变体优于无放回版本，表明重新选择相关片段可提升推理稳定性。
• 非参数注意力基线的表现与使用有放回采样的单层 MIST 相当，但两层迭代结构的 MIST 显著优于该基线，证明了可学习迭代优化的优势。
• 定性分析表明，MIST 能够根据问题上下文正确地定位相关视频片段和区域，但在处理部分可见物体或高度相似事件时仍存在困难。
• 消融实验确认，迭代选择与注意力机制对捕捉复杂多事件推理至关重要，尤其在因果推理和组合型问题类型中表现突出。

Figure 2 : Diagrammatic illustration of \textcinzel MIST . It revises a standard spatial-temporal self-attention layer into two modules: a cascade selection module that dynamically eliminates question-irrelevant image regions, and a self-attention layer reasoning over multi-modal multi-grained visua