[论文解读] Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval

Xiang Fang, Daizong Liu+2 more|arXiv (Cornell University)|Sep 23, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出了一种用于跨域设置下视频瞬间检索的多模态跨域对齐（MMCDA）网络，其中仅源域拥有完整标注，而目标域未标注。通过联合学习域不变、跨模态以及帧-查询对齐的表征，借助三个新颖模块，MMCDA 在 ActivityNet Captions、Charades-STA 和 TACoS 基准测试中实现了最先进性能，在关键指标上比单域方法高出超过 7%。

ABSTRACT

As an increasingly popular task in multimedia information retrieval, video moment retrieval (VMR) aims to localize the target moment from an untrimmed video according to a given language query. Most previous methods depend heavily on numerous manual annotations (i.e., moment boundaries), which are extremely expensive to acquire in practice. In addition, due to the domain gap between different datasets, directly applying these pre-trained models to an unseen domain leads to a significant performance drop. In this paper, we focus on a novel task: cross-domain VMR, where fully-annotated datasets are available in one domain (``source domain''), but the domain of interest (``target domain'') only contains unannotated datasets. As far as we know, we present the first study on cross-domain VMR. To address this new task, we propose a novel Multi-Modal Cross-Domain Alignment (MMCDA) network to transfer the annotation knowledge from the source domain to the target domain. However, due to the domain discrepancy between the source and target domains and the semantic gap between videos and queries, directly applying trained models to the target domain generally leads to a performance drop. To solve this problem, we develop three novel modules: (i) a domain alignment module is designed to align the feature distributions between different domains of each modality; (ii) a cross-modal alignment module aims to map both video and query features into a joint embedding space and to align the feature distributions between different modalities in the target domain; (iii) a specific alignment module tries to obtain the fine-grained similarity between a specific frame and the given query for optimal localization. By jointly training these three modules, our MMCDA can learn domain-invariant and semantic-aligned cross-modal representations.

研究动机与目标

• 解决在缺乏人工标注的低资源目标域中进行视频瞬间检索的挑战。
• 缓解源数据集与目标数据集之间的域差距，以及视频与语言模态之间的语义差距所导致的性能下降。
• 实现在目标域无需人工标注的前提下，从完全标注的源域有效迁移知识。
• 开发一个统一框架，联合对齐域间、模态间以及特定查询-视频交互的特征。

提出的方法

• 提出一种包含三个核心模块的多模态跨域对齐（MMCDA）网络：域对齐、跨模态对齐和特定对齐模块。
• 采用域对齐模块，通过对抗训练减少各模态中源域与目标域之间的分布差异。
• 引入跨模态对齐模块，将视频和查询特征映射到共享嵌入空间，并对齐目标域中两者的分布。
• 设计特定对齐模块，以计算单个视频帧与查询之间的细粒度相似度，实现精确的边界定位。
• 采用多任务学习目标，结合预训练损失与三种对齐损失，联合优化所有模块。
• 利用 T-SNE 可视化和正则化损失函数，分析并监控训练过程中域差距的减小情况。

实验结果

研究问题

• RQ1 在完全标注的源域上训练的模型，能否有效将知识迁移至完全未标注的目标域，用于视频瞬间检索？
• RQ2 如何有效减少源数据集与目标数据集之间的域差异，以提升跨域泛化能力？
• RQ3 在未见的目标域中，视频与语言模态之间的跨模态语义差距能在多大程度上被弥合？
• RQ4 在低资源设置下，引入细粒度帧-查询对齐是否能提升定位精度？

主要发现

• 与最先进单域方法相比，MMCDA 在代表性跨域迁移任务中性能提升超过 7%。
• 在 A→C 和 C→A 的迁移任务中，MMCDA 在所有指标上分别优于最佳基线方法（CRMA）2.23%、3.92%、1.41% 和 2.09%。
• ActivityNet Captions 与 Charades-STA 数据集之间的域差距显著减小，得益于有效的域对齐，模型在 10–12 个训练周期内即实现收敛。
• 可视化结果表明，每轮对齐模块应用后，跨模态特征聚类更加紧密，证实了语义对齐的改善。
• 消融实验表明，三个模块（域对齐、跨模态对齐和特定对齐）均对性能有显著贡献，其中特定对齐模块带来的提升最为明显。
• 当 TACoS 作为源域时，由于其标注稀疏，性能增益有限；但当 TACoS 作为目标域时，模型仍能有效泛化。