[论文解读] Jointly Cross- and Self-Modal Graph Attention Network for Query-Based Moment Localization

Daizong Liu, Xiaoye Qu+4 more|arXiv (Cornell University)|Aug 4, 2020

Multimodal Machine Learning Applications参考文献 48被引用 11

一句话总结

该论文提出 CSMGAN，一种新型图神经网络，通过联合建模跨模态与自模态关系，实现对未剪辑视频中基于查询的时刻定位。通过采用具有跨模态与自模态注意力机制的双图架构，CSMGAN 捕获了视频帧与查询词之间的高阶交互，实现在 Activity Caption 和 TACoS 数据集上的最先进性能。

ABSTRACT

Query-based moment localization is a new task that localizes the best matched segment in an untrimmed video according to a given sentence query. In this localization task, one should pay more attention to thoroughly mine visual and linguistic information. To this end, we propose a novel Cross- and Self-Modal Graph Attention Network (CSMGAN) that recasts this task as a process of iterative messages passing over a joint graph. Specifically, the joint graph consists of Cross-Modal interaction Graph (CMG) and Self-Modal relation Graph (SMG), where frames and words are represented as nodes, and the relations between cross- and self-modal node pairs are described by an attention mechanism. Through parametric message passing, CMG highlights relevant instances across video and sentence, and then SMG models the pairwise relation inside each modality for frame (word) correlating. With multiple layers of such a joint graph, our CSMGAN is able to effectively capture high-order interactions between two modalities, thus enabling a further precise localization. Besides, to better comprehend the contextual details in the query, we develop a hierarchical sentence encoder to enhance the query understanding. Extensive experiments on four public datasets demonstrate the effectiveness of our proposed model, and GCSMAN significantly outperforms the state-of-the-arts.

研究动机与目标

• 解决在未剪辑视频中基于自然语言查询定位短时相关视频片段的挑战。
• 克服现有方法仅单独关注跨模态注意力或自模态建模的局限性。
• 通过联合建模跨模态相关性与模态内序列依赖关系，提升细粒度定位性能。
• 通过分层句子编码器增强查询理解，以更好地捕捉上下文语义。
• 构建统一的端到端框架，实现在视频帧与查询词联合图上的消息传递。

提出的方法

• 构建一个联合图，包含两个子图：跨模态关系图（CMG）与自模态关系图（SMG），其中帧与词作为节点。
• 在 CMG 中使用异质注意力机制，对每对词与帧建模有向的成对关系，实现跨模态消息传递。
• 在 SMG 中应用自注意力机制，建模模态内关系——即帧之间与词之间的成对相关性，捕捉序列与上下文依赖。
• 堆叠多层联合图，递归传播消息，实现跨模态的高阶交互学习。
• 集成分层句子编码器，将词逐步组合为短语，再组合为句子，以增强上下文理解。
• 通过可学习的聚合机制（如 ConvGRU）更新节点表示，融合来自两个图中邻近节点的消息。

实验结果

研究问题

• RQ1 联合建模跨模态与自模态关系是否能提升未剪辑视频中时刻定位的精度？
• RQ2 在视频与语言模态中引入自模态关系，对边界定位与上下文理解有何影响？
• RQ3 分层句子编码策略在多大程度上增强了模型定位复杂查询的能力？
• RQ4 在消息传递中，为平衡表示丰富性与过平滑问题，最优图层数量是多少？
• RQ5 CMG 与 SMG 子图中的注意力权重在真实样本中是否能反映有意义的语义与空间关系？

主要发现

• 完整 CSMGAN 模型在 Activity Caption 与 TACoS 数据集上均达到最先进性能，超越现有 SOTA 方法。
• 消融实验表明，若移除跨模态与自模态图（w/o CSG）或分层句子编码器（w/o HS），性能显著下降，证实二者关键作用。
• 模型在两层图时达到最优性能；增加图层数超过两层会导致过平滑，性能下降。
• 注意力权重可视化表明，CMG 有效突出相关词-帧对（如“begins”、“brushing”），对应显著视频片段。
• SMG 自注意力能成功区分边界帧与片段内帧，对视觉相似但语义无关的帧分配较低权重。
• 模型表现出鲁棒性，所有消融变体仍优于先前 SOTA 方法，表明该框架整体有效性超越单一组件。