[论文解读] BiC-Net: Learning Efficient Spatio-Temporal Relation for Text-Video Retrieval

Ning Han, Jingjing Chen+4 more|arXiv (Cornell University)|Oct 29, 2021

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出BiC-Net，一种基于双分支Transformer的框架，通过联合建模视频中的全局时序特征与细粒度时空关系，实现文本-视频检索。通过整合用于局部关系的时空残差Transformer（SRT）与用于全局上下文的多层Transformer，BiC-Net实现了最先进性能，在MSR-VTT 1k-A数据集上R@10准确率最高提升18.5%，且计算成本更低。

ABSTRACT

The task of text-video retrieval aims to understand the correspondence between language and vision, has gained increasing attention in recent years. Previous studies either adopt off-the-shelf 2D/3D-CNN and then use average/max pooling to directly capture spatial features with aggregated temporal information as global video embeddings, or introduce graph-based models and expert knowledge to learn local spatial-temporal relations. However, the existing methods have two limitations: 1) The global video representations learn video temporal information in a simple average/max pooling manner and do not fully explore the temporal information between every two frames. 2) The graph-based local video representations are handcrafted, it depends heavily on expert knowledge and empirical feedback, which may not be able to effectively mine the higher-level fine-grained visual relations. These limitations result in their inability to distinguish videos with the same visual components but with different relations. To solve this problem, we propose a novel cross-modal retrieval framework, Bi-Branch Complementary Network (BiC-Net), which modifies transformer architecture to effectively bridge text-video modalities in a complementary manner via combining local spatial-temporal relation and global temporal information. Specifically, local video representations are encoded using multiple transformer blocks and additional residual blocks to learn spatio-temporal relation features, calling the module a Spatio-Temporal Residual transformer (SRT). Meanwhile, Global video representations are encoded using a multi-layer transformer block to learn global temporal features. Finally, we align the spatio-temporal relation and global temporal features with the text feature on two embedding spaces for cross-modal text-video retrieval.

研究动机与目标

• 为解决现有文本-视频检索模型在区分具有相同视觉组件但不同空间-时间关系的视频时的局限性。
• 克服在建模局部时空关系时依赖手工设计图结构或简单池化方法的不足，从而限制对细粒度视觉关系的理解。
• 开发一种统一框架，通过将细粒度局部关系特征与全局时序表征相结合，提升跨模态对齐效果。
• 通过高效的Transformer架构，在保持高性能的同时降低计算开销。

提出的方法

• BiC-Net采用双分支架构：一个分支使用带有残差连接的多个Transformer块，以学习局部时空关系特征，称为时空残差Transformer（SRT）。
• 第二个分支使用多层Transformer，从整个视频序列中编码全局时序特征。
• 局部与全局视频表征在两个独立的嵌入空间中与文本特征对齐，以实现跨模态检索。
• 模型利用自注意力机制捕捉帧间对象之间的长距离依赖关系与关系线索。
• SRT模块通过结合残差连接与多头注意力机制，增强特征学习，以保留空间与时间上下文。
• 框架通过对比损失端到端训练，以优化文本与视频嵌入之间的跨模态相似度。

实验结果

研究问题

• RQ1 建模细粒度时空关系是否能超越仅依赖全局视频表征，进一步提升文本-视频检索性能？
• RQ2 可学习的、基于注意力的局部关系建模方法与手工设计图结构的方法相比，在捕捉视觉交互方面表现如何？
• RQ3 结合局部关系特征与全局时序特征的双分支架构，是否能优于单一模态建模方法，实现更优的检索性能？
• RQ4 与现有基于Transformer的模型相比，所提方法在保持或提升准确率的同时，能在多大程度上降低计算成本？

主要发现

• BiC-Net在MSR-VTT 1k-A测试集上实现了85.6%的文本到视频R@10准确率，相比MMT基线模型提升18.5%。
• 仅使用一个Transformer层的模型在准确率与效率方面均优于DualEncoding，且参数量更少、FLOPs更低。
• 定性结果表明，BiC-Net能成功检索出包含复杂细粒度动作的视频，如“打开一只螃蟹”和“用化妆刷涂抹右眼”，而缺乏关系建模的变体则无法区分相关与相似但错误的视频。
• 注意力可视化结果表明，模型聚焦于语义相关的区域，如“男人+螃蟹”和“女人+化妆刷”，证明其有效学习了关系线索。
• 消融实验表明，若移除时空关系分支，性能显著下降，证明其在区分具有相似组件但不同交互关系的视频中具有必要性。
• 该模型在三个基准数据集——MSR-VTT、MSVD和YouCook2上均保持强大性能，展现出良好的泛化能力与鲁棒性。