[论文解读] LoGAN: Latent Graph Co-Attention Network for Weakly-Supervised Video Moment Retrieval

Reuben Tan, Huijuan Xu+2 more|arXiv (Cornell University)|Sep 27, 2019

Multimodal Machine Learning Applications参考文献 40被引用 13

一句话总结

LoGAN 提出了一种潜在图协同注意力网络，通过使用带有迭代消息传递的词语条件视觉图（WCVG），对所有视频帧对之间的细粒度帧-词交互和关系上下文进行建模。通过利用查询条件图推理和位置编码，该方法在 DiDeMo 数据集上实现了最先进性能，Recall@1 比强监督方法高出 11%。

ABSTRACT

The goal of weakly-supervised video moment retrieval is to localize the video segment most relevant to the given natural language query without access to temporal annotations during training. Prior strongly- and weakly-supervised approaches often leverage co-attention mechanisms to learn visual-semantic representations for localization. However, while such approaches tend to focus on identifying relationships between elements of the video and language modalities, there is less emphasis on modeling relational context between video frames given the semantic context of the query. Consequently, the above-mentioned visual-semantic representations, built upon local frame features, do not contain much contextual information. To address this limitation, we propose a Latent Graph Co-Attention Network (LoGAN) that exploits fine-grained frame-by-word interactions to reason about correspondences between all possible pairs of frames, given the semantic context of the query. Comprehensive experiments across two datasets, DiDeMo and Charades-Sta, demonstrate the effectiveness of our proposed latent co-attention model where it outperforms current state-of-the-art (SOTA) weakly-supervised approaches by a significant margin. Notably, it even achieves a 11% improvement to Recall@1 accuracy over strongly-supervised SOTA methods on DiDeMo.

研究动机与目标

• 解决现有弱监督视频瞬间检索方法中缺乏关系和时间上下文的问题，这些方法将帧视为独立输入。
• 通过使用查询条件图推理建模所有可能帧对之间的对应关系，改进视觉-语义表征学习。
• 通过捕捉视频序列中帧与词之间的细粒度交互和上下文依赖，提升定位精度。
• 证明通过图传播实现的潜在多模态推理相比标准协同注意力或基于 LSTM 的方法具有更优性能。
• 建立弱监督视频与语言理解的强基线，基于上下文化的视觉-语义表征。

提出的方法

• 该模型构建一个词语条件视觉图（WCVG），其中节点为帧特征和视觉-语义表征，边通过消息传递动态加权。
• 通过使用帧特定的视频表征更新词特征来计算视觉-语义表征，实现细粒度的跨模态对齐。
• 通过多轮消息传递在所有帧对之间传播上下文信息，建模受查询条件控制的时间和关系依赖。
• 使用位置编码注入相对帧位置信息，相比时间端点特征在建模序列上下文方面表现更优。
• 采用多实例学习（MIL）范式，仅使用弱监督视频-查询对端到端训练模型，无需时间标注。
• 通过依赖基于图的消息传递而非循环机制，避免循环结构，实现高效且全面的帧对推理。

实验结果

研究问题

• RQ1 通过基于图的协同注意力机制建模成对帧关系，能否提升弱监督视频瞬间检索性能？
• RQ2 在视觉图中使用查询条件消息传递是否能提升视频片段与自然语言查询之间的对齐？
• RQ3 与时间端点特征相比，位置编码在提升定位精度方面表现如何？
• RQ4 细粒度帧-词交互在视觉-语义推理中相比句子级表征聚合，优势有多大？
• RQ5 弱监督模型能否在标准基准上实现与强监督最先进方法相当或更优的性能？

主要发现

• LoGAN 在 DiDeMo 数据集上实现 39.20% 的 Recall@1，比之前最先进弱监督方法（TGA）高出超过 27 个百分点。
• 在 DiDeMo 上，LoGAN 比强监督最先进方法如 TGN 和 MCN 在 Recall@1 上高出 11%，证明其上下文推理的有效性。
• 消融研究证实，WCVG 组件相比基线 FBW 模型将 Recall@1 提升 6.91 个百分点，凸显图式消息传递的价值。
• 位置编码显著提升对齐精度，而时间端点特征（TEF）未能提升性能，表明其在建模序列上下文方面表现较差。
• 三轮消息传递迭代达到最佳性能，进一步增加轮次导致性能下降，表明上下文聚合存在最优平衡点。
• 即使参数量与更大基线模型匹配，该模型性能依然稳健，证实所提架构的高效性与有效性。