[论文解读] End-to-end Multi-modal Video Temporal Grounding

Yiwen Chen, Yi‐Hsuan Tsai+1 more|arXiv (Cornell University)|Jul 12, 2021

Multimodal Machine Learning ApplicationsComputer Science参考文献 34被引用 21

一句话总结

本文提出DRFT，一种用于视频时序定位的端到端多模态框架，通过协同注意力Transformer实现RGB、光流和深度特征的动态模态间融合，并结合自监督对比学习以增强模态内表征。该方法通过整合外观、运动和结构的互补视觉线索，在Charades-STA和ActivityNet Captions数据集上实现了最先进性能。

ABSTRACT

We address the problem of text-guided video temporal grounding, which aims to identify the time interval of a certain event based on a natural language description. Different from most existing methods that only consider RGB images as visual features, we propose a multi-modal framework to extract complementary information from videos. Specifically, we adopt RGB images for appearance, optical flow for motion, and depth maps for image structure. While RGB images provide abundant visual cues of certain events, the performance may be affected by background clutters. Therefore, we use optical flow to focus on large motion and depth maps to infer the scene configuration when the action is related to objects recognizable with their shapes. To integrate the three modalities more effectively and enable inter-modal learning, we design a dynamic fusion scheme with transformers to model the interactions between modalities. Furthermore, we apply intra-modal self-supervised learning to enhance feature representations across videos for each modality, which also facilitates multi-modal learning. We conduct extensive experiments on the Charades-STA and ActivityNet Captions datasets, and show that the proposed method performs favorably against state-of-the-art approaches.

研究动机与目标

• 解决仅依赖RGB特征的单模态视频时序定位方法在复杂或杂乱背景下的局限性。
• 通过整合RGB（外观）、光流（运动）和深度（场景结构）的互补视觉线索，提升时序定位精度。
• 通过自适应输入特定模态重要性的动态融合机制，实现有效的模态间特征学习。
• 通过在每个模态内应用自监督对比学习，提升特征在不同视频剪辑中的鲁棒性，学习动作不变表征。

提出的方法

• DRFT框架整合三种视觉模态：RGB图像用于外观表征，光流用于运动表征，深度图用于结构上下文表征。
• 协同注意力Transformer模块通过基于输入内容的交叉注意力交互，动态融合不同模态的特征。
• 模态间融合机制学习模态特定的注意力权重，使模型能根据查询内容强调相关线索——例如，对高运动动作强调光流，对结构相关动作强调深度。
• 在每个模态内独立应用模态内自监督对比学习，以提升相同动作在不同背景或上下文下的特征一致性。
• 模型通过时序定位损失端到端训练，该损失函数回归查询所提及事件的起止时间。
• 该框架在Charades-STA和ActivityNet Captions上进行评估，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 与仅使用RGB相比，RGB、光流和深度等互补视觉模态在视频时序定位中的提升效果如何？
• RQ2 基于注意力的动态融合机制在多模态视频时序定位中对模态间特征学习的增强程度如何？
• RQ3 在每个模态内应用自监督对比学习是否能改善特征表征并提升多模态性能？
• RQ4 对于小运动动作（如“微笑”）或强结构线索动作（如“坐在床上”），RGB、光流或深度模态中哪一者对定位贡献最大？
• RQ5 DRFT框架在Charades-STA和ActivityNet Captions等标准基准上与最先进方法相比表现如何？

主要发现

• 三流DRFT模型（RGB、光流、深度）在Charades-STA和ActivityNet Captions上均优于单模态基线，证明了多模态融合的有效性。
• 引入对比学习的单流DRFT模型显著优于其非对比学习对应模型，证实了模态内自监督的益处。
• 对于小运动动作（如“微笑”），RGB特征贡献最大，表现为融合机制中更高的注意力权重。
• 对于高运动动作（如“关门”或“扔靠垫”），光流主导融合过程，光流模态特征获得最高注意力权重。
• 对于依赖结构的动作（如“坐在床上”或“在桌边工作”），深度图贡献最大，深度条件特征获得最高注意力权重。
• 消融实验证实，模态间融合与模态内对比学习两个组件对实现最先进性能均至关重要。