[论文解读] X-Pool: Cross-Modal Language-Video Attention for Text-Video Retrieval

Satya Krishna Gorti, Noël Vouitsis+5 more|arXiv (Cornell University)|Mar 28, 2022

Multimodal Machine Learning Applications被引用 11

一句话总结

X-Pool 提出了一种跨模态注意力机制，使文本能够关注最语义相关的视频帧，通过基于文本查询的视频池化条件化，提升了文本-视频检索性能。该方法在 MSR-VTT、MSVD 和 LSMDC 数据集上达到最先进性能，Recall@1 相对提升最高达 12%，并展现出对场景切换等视频内容多样性的强鲁棒性。

ABSTRACT

In text-video retrieval, the objective is to learn a cross-modal similarity function between a text and a video that ranks relevant text-video pairs higher than irrelevant pairs. However, videos inherently express a much wider gamut of information than texts. Instead, texts often capture sub-regions of entire videos and are most semantically similar to certain frames within videos. Therefore, for a given text, a retrieval model should focus on the text's most semantically similar video sub-regions to make a more relevant comparison. Yet, most existing works aggregate entire videos without directly considering text. Common text-agnostic aggregations schemes include mean-pooling or self-attention over the frames, but these are likely to encode misleading visual information not described in the given text. To address this, we propose a cross-modal attention model called X-Pool that reasons between a text and the frames of a video. Our core mechanism is a scaled dot product attention for a text to attend to its most semantically similar frames. We then generate an aggregated video representation conditioned on the text's attention weights over the frames. We evaluate our method on three benchmark datasets of MSR-VTT, MSVD and LSMDC, achieving new state-of-the-art results by up to 12% in relative improvement in Recall@1. Our findings thereby highlight the importance of joint text-video reasoning to extract important visual cues according to text. Full code and demo can be found at: https://layer6ai-labs.github.io/xpool/

研究动机与目标

• 解决文本无关视频池化方法的局限性，即无论与输入文本的相关性如何，均对所有帧进行聚合。
• 通过实现文本与视频帧之间的联合推理，仅提取最语义相关的视觉线索，从而提升文本-视频检索性能。
• 设计一种参数化的跨模态注意力机制，使文本能够动态关注最相关的视频子区域。
• 评估在视频内容多样性增加（如场景切换）的情况下，检索模型的鲁棒性。
• 证明文本条件化池化优于标准的平均池化和自注意力方法，在检索性能和鲁棒性方面均表现更优。

提出的方法

• X-Pool 使用缩放点积注意力，从文本查询中计算对单个视频帧的注意力权重，使模型能够聚焦于语义相关的子区域。
• 注意力权重用于条件化聚合视频特征，生成与输入文本上下文对齐的视频表示。
• 该方法基于预训练的视觉-语言模型构建，跨注意力机制应用于文本嵌入与帧级视觉特征之间。
• 通过学习到的注意力权重对帧特征进行加权平均，生成视频表示，确保与查询文本的相关性。
• 模型通过对比损失在端到端方式下进行微调，以在共享潜在空间中优化跨模态相似性。
• 该方法在三个基准数据集（MSR-VTT、MSVD 和 LSMDC）上进行评估，使用 Recall@1 和 Median Rank 等标准检索指标。

实验结果

研究问题

• RQ1 与文本无关的池化方法（如平均池化或自注意力）相比，文本条件化视频池化是否能提升文本-视频检索性能？
• RQ2 当视频内容多样性增加（如场景切换）时，检索模型的性能如何退化？
• RQ3 当视频包含多个不同的视觉场景或突兀的场景切换时，X-Pool 是否仍能保持高检索准确率？
• RQ4 X-Pool 中的注意力机制能否有效定位与给定文本描述最相关的视频帧？
• RQ5 所提出的方法在保持多个基准上最先进性能的同时，是否对视频内容变化具有鲁棒性？

主要发现

• X-Pool 在 MSR-VTT、MSVD 和 LSMDC 上实现了新的最先进结果，与之前方法相比，Recall@1 最高提升达 12%。
• 该模型在视频内容多样性方面表现出显著更高的鲁棒性：在场景切换增加的情况下，Median Rank 仅从 2 上升至 9，而平均池化方法则从 2 上升至 46。
• 定性分析证实，X-Pool 能够正确地为与输入文本语义最匹配的帧分配高注意力权重，即使在复杂或细微的情境下亦然。
• 注意力机制成功地定位了相关视频子区域，例如在描述神经过程时，能聚焦于大脑动画帧。
• X-Pool 在所有评估指标上均优于文本无关池化方法，尤其在视觉多样性高的视频中表现更优。
• 即使在包含多个场景切换的视频中，该模型仍能保持强劲性能，表明其具备过滤无关视觉干扰信息的能力。