[论文解读] MH-DETR: Video Moment and Highlight Detection with Cross-modal Transformer

Yifang Xu, Yunzhuo Sun+4 more|arXiv (Cornell University)|Apr 29, 2023

Visual Attention and Saliency Detection被引用 4

一句话总结

MH-DETR 提出了一种新颖的端到端 Transformer 基模型，用于联合视频时刻定位与亮点检测，引入了一种基于池化的标记混合器以建模模态内上下文，并设计了一个即插即用的跨模态交互模块以增强特征对齐。该方法在多个基准测试中实现了最先进性能，包括 QVHighlights、Charades-STA、ActivityNet 和 TVSum，显著优于先前方法，且在从零开始训练的情况下无需预训练。

ABSTRACT

With the increasing demand for video understanding, video moment and highlight detection (MHD) has emerged as a critical research topic. MHD aims to localize all moments and predict clip-wise saliency scores simultaneously. Despite progress made by existing DETR-based methods, we observe that these methods coarsely fuse features from different modalities, which weakens the temporal intra-modal context and results in insufficient cross-modal interaction. To address this issue, we propose MH-DETR (Moment and Highlight Detection Transformer) tailored for MHD. Specifically, we introduce a simple yet efficient pooling operator within the uni-modal encoder to capture global intra-modal context. Moreover, to obtain temporally aligned cross-modal features, we design a plug-and-play cross-modal interaction module between the encoder and decoder, seamlessly integrating visual and textual features. Comprehensive experiments on QVHighlights, Charades-STA, Activity-Net, and TVSum datasets show that MH-DETR outperforms existing state-of-the-art methods, demonstrating its effectiveness and superiority. Our code is available at https://github.com/YoucanBaby/MH-DETR.

研究动机与目标

• 为解决现有基于 DETR 的方法在视频时刻与亮点检测（MHD）中面临的局限性，这些方法存在粗粒度的跨模态融合和较弱的模态内上下文建模问题。
• 通过设计专用的跨模态交互模块，提升视觉与文本模态之间的时间对齐与表征学习能力。
• 在单模态编码器中使用简单而有效的池化算子，增强单模态特征的全局上下文建模能力。
• 在无需预训练或后处理步骤（如非极大值抑制）的情况下，实现在 MHD 基准上的最先进性能。

提出的方法

• 在单模态编码器中引入基于池化的标记混合器，以捕获全局模态内上下文，替代标准自注意力机制，提升效率与效果。
• 在编码器与解码器之间设计即插即用的跨模态交互模块，实现视觉与文本特征的时间对齐融合。
• 采用受 DETR 启发的双分支 Transformer 编码器-解码器架构，其中时刻解码器预测起始与结束时间戳，亮点头回归片段级显著性分数。
• 使用二分图匹配与端到端训练策略，联合优化时刻检索与亮点检测的损失函数。
• 应用多头交叉注意力机制，以文本特征为查询，关注视觉特征中语义相关的内容。
• 仅使用原始视觉与文本特征进行从零开始训练，无需额外的预训练或数据增强。

实验结果

研究问题

• RQ1 基于池化的简单标记混合器是否能有效建模视频与文本表征中的全局模态内上下文，以支持 MHD 任务？
• RQ2 编码器与解码器之间专用的跨模态交互模块是否能提升特征对齐性与联合时刻与亮点检测的性能？
• RQ3 在多个 MHD 基准上，所提出的 MH-DETR 与最先进方法相比，在准确率与效率方面表现如何？
• RQ4 时刻检索与亮点检测损失的联合优化在多大程度上提升了整体性能？
• RQ5 该方法在 QVHighlights、Charades-STA、ActivityNet 和 TVSum 等多样化数据集上是否具备鲁棒性与泛化能力？

主要发现

• 在 QVHighlights 数据集上，当使用 VGG 特征时，MH-DETR 在 R1@0.5 上相比 Moment-DETR 提升 1.84%，在 R1@0.7 上提升 1.04%。
• 在 Charades-STA 上，MH-DETR 显著优于近期 SOTA 方法 VISA，尤其在使用 I3D 特征时，展现出强大的泛化能力。
• 在 TVSum 上，MH-DETR 实现平均 top-5 mAP 为 85.6%，在所有类别上均比 SL-Module 提升 8.3 个百分点。
• 消融实验表明，若移除亮点损失或时刻损失，性能均出现显著下降，验证了联合优化的重要性。
• 跨模态交互模块对性能提升贡献最大，包含该模块的模型在 QVHighlights 上 mAP 最高可比无该模块的模型高出 3.5%。
• 即使在参数量相当的情况下，MH-DETR 仍优于 Moment-DETR-L 与 MH-DETR-S，表明其具备更优的参数效率。