[论文解读] A Simple Yet Effective Method for Video Temporal Grounding with Cross-Modality Attention

Binjie Zhang, Yu Li+4 more|arXiv (Cornell University)|Sep 23, 2020

Multimodal Machine Learning Applications参考文献 33被引用 5

一句话总结

该论文提出了一种简单而有效的双分支跨模态注意力（CMA）模块，用于视频时序定位，通过交替调制视频和语言特征，实现局部与全局语义的对齐。通过采用一种新颖的任务特定回归损失的端到端粗到细编码器-解码器Transformer结构，该方法在Charades-STA和ActivityNet Captions数据集上实现了最先进性能，且参数量更少，对标注偏差的鲁棒性更强。

ABSTRACT

The task of language-guided video temporal grounding is to localize the particular video clip corresponding to a query sentence in an untrimmed video. Though progress has been made continuously in this field, some issues still need to be resolved. First, most of the existing methods rely on the combination of multiple complicated modules to solve the task. Second, due to the semantic gaps between the two different modalities, aligning the information at different granularities (local and global) between the video and the language is significant, which is less addressed. Last, previous works do not consider the inevitable annotation bias due to the ambiguities of action boundaries. To address these limitations, we propose a simple two-branch Cross-Modality Attention (CMA) module with intuitive structure design, which alternatively modulates two modalities for better matching the information both locally and globally. In addition, we introduce a new task-specific regression loss function, which improves the temporal grounding accuracy by alleviating the impact of annotation bias. We conduct extensive experiments to validate our method, and the results show that just with this simple model, it can outperform the state of the arts on both Charades-STA and ActivityNet Captions datasets.

研究动机与目标

• 解决现有视频时序定位中复杂多模块架构的局限性。
• 提升视频与语言模态在局部和全局粒度上的跨模态对齐能力。
• 减轻现有数据集中因动作边界模糊导致的标注偏差影响。
• 设计一种轻量化、端到端可训练的模型，在参数量减少的同时保持高精度。

提出的方法

• 该方法采用双分支跨模态注意力（CMA）模块，利用多头自注意力和双注意力机制，交替调制视频和语言特征。
• 采用粗到细的编码器-解码器Transformer结构：编码器通过查询引导的视频特征调制，解码器则迭代地优化两种模态。
• 语义短语提取（SPE）网络从查询中识别多样化的语义短语，以指导粗粒度的视频浏览。
• 使用正弦/余弦函数对视频和查询序列应用时间位置编码，以保持序列顺序信息。
• 通过Hadamard乘积进行特征融合，在消融实验中表现优于加法和拼接。
• 提出一种新颖的任务特定回归损失，包含自适应阈值（β）和系数（α），以减轻标注偏差的影响。

实验结果

研究问题

• RQ1 简单的双分支注意力机制是否能在视频时序定位任务中超越复杂的多模块架构？
• RQ2 粗到细策略在对齐视频与语言模态的局部和全局语义方面有多有效？
• RQ3 任务特定损失函数在多大程度上能缓解由模糊动作边界引起的标注偏差影响？
• RQ4 参数量更少的轻量化模型是否仍能在标准基准上实现最先进性能？

主要发现

• 完整CMA模型在Charades-STA数据集上达到57.56% R1@0.5，优于先前最先进方法（LGI+）的0.35%。
• 在ActivityNet Captions数据集上，该模型以少于一半的参数量实现了最先进性能。
• 消融实验证明，完整的编码器-解码器结构优于仅编码器或仅解码器的变体，验证了全局与局部建模的必要性。
• 位置编码对性能至关重要，正弦/余弦位置编码表现最佳，且在效率上优于可学习的嵌入矩阵。
• Hadamard乘积融合方式在准确率上最高（57.56% R1@0.5），优于加法（53.42%）和拼接（56.45%）。
• 当α=10且β=0.1时，所提出的损失函数取得最佳性能（57.56% R1@0.5），证明其在减轻标注偏差影响方面的有效性。