[论文解读] Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning

Shizhe Chen, Yida Zhao+2 more|arXiv (Cornell University)|Mar 1, 2020

Multimodal Machine Learning Applications参考文献 38被引用 26

一句话总结

该论文提出了一种分层图推理（HGR）模型，用于细粒度视频-文本检索，通过将视频-文本匹配分解为事件、动作和实体三个语义层级，并利用基于注意力的图推理捕捉跨层级交互。该模型在MSR-VTT、TGIF和VATEX数据集上实现了最先进性能，尤其在不完整或语义微妙的句子对中，细粒度检索性能显著提升。

ABSTRACT

Cross-modal retrieval between videos and texts has attracted growing attentions due to the rapid emergence of videos on the web. The current dominant approach for this problem is to learn a joint embedding space to measure cross-modal similarities. However, simple joint embeddings are insufficient to represent complicated visual and textual details, such as scenes, objects, actions and their compositions. To improve fine-grained video-text retrieval, we propose a Hierarchical Graph Reasoning (HGR) model, which decomposes video-text matching into global-to-local levels. To be specific, the model disentangles texts into hierarchical semantic graph including three levels of events, actions, entities and relationships across levels. Attention-based graph reasoning is utilized to generate hierarchical textual embeddings, which can guide the learning of diverse and hierarchical video representations. The HGR model aggregates matchings from different video-text levels to capture both global and local details. Experimental results on three video-text datasets demonstrate the advantages of our model. Such hierarchical decomposition also enables better generalization across datasets and improves the ability to distinguish fine-grained semantic differences.

研究动机与目标

• 解决全局嵌入模型在捕捉视频-文本检索中细粒度视觉与文本细节方面的局限性。
• 通过在两种模态中引入拓扑结构和关系推理，克服序列建模的不足。
• 提升在弱监督、复杂视频-文本对（语义差异细微）上的检索性能。
• 通过学习解耦的、分层的表示，实现跨数据集更好的泛化能力。
• 在涉及角色互换、实体替换以及不完整描述的细粒度二分类任务中，展示卓越性能。

提出的方法

• 将视频和文本分解为三个分层语义层级：全局事件（完整句子）、动作（动词）和实体（名词短语）。
• 在文本中通过基于注意力的图推理构建语义角色图，以建模事件、动作和实体组件之间的交互。
• 通过跨模态注意力机制，学习与文本层级对齐的分层视频表示。
• 聚合所有三个层级（事件、动作、实体）的匹配分数，生成统一的、全面的跨模态相似度分数。
• 采用具有分层监督的联合嵌入空间，以增强全局与局部匹配的保真度。
• 将模型应用于文本到视频和视频到文本检索任务，通过对比损失进行端到端训练。

实验结果

研究问题

• RQ1 将视频和文本分解为事件、动作和实体的分层结构，是否能提升细粒度视频-文本检索性能？
• RQ2 在语义层级之间采用基于注意力的图推理，是否能增强跨模态对齐与推理能力？
• RQ3 与标准联合嵌入模型相比，该模型是否在跨数据集上具有更好的泛化能力？
• RQ4 该模型在区分细微语义差异（如角色互换或实体替换）方面表现如何？
• RQ5 融合分层匹配是否能提升对不完整或部分描述的性能？

主要发现

• 在MSR-VTT数据集上，HGR模型在文本到视频检索中实现了24的中位数倒数排名（MedR），在视频到文本检索中为11，优于先前方法。
• 在细粒度二分类选择任务中，HGR平均准确率达到78.61%，显著优于VSE++（77.37%）和Dual Encoding（76.43%），在检测细微语义变化方面表现更优。
• 模型在不完整事件任务中表现最强（准确率82.04%），表明其能更优地偏好更完整的描述。
• 分层级别的融合取得最佳性能（文本到视频的R@1为71.9%），优于单一层级，证实了多层级推理的优势。
• 定性结果表明，HGR能成功检索出匹配所有动作和实体的视频，同时排除缺少关键组件的视频。
• 该模型在未见数据集（如Youtube2Text）上也表现出良好泛化能力，表明其分层表示学习具有鲁棒性与可迁移性。