[论文解读] HANet: Hierarchical Alignment Networks for Video-Text Retrieval

Peng Wu, Xiangteng He+3 more|arXiv (Cornell University)|Jul 26, 2021

Multimodal Machine Learning Applications参考文献 46被引用 8

一句话总结

HANet 提出了一种用于视频-文本检索的分层对齐网络，将视频和文本分解为事件、动作和实体三个层次，实现个体、局部和全局的跨模态对齐。通过利用弱监督的概念驱动视频解析和关系图建模，HANet 在 MSR-VTT 和 VATEX 上实现了最先进性能，且无需额外预训练或外部特征。

ABSTRACT

Video-text retrieval is an important yet challenging task in vision-language understanding, which aims to learn a joint embedding space where related video and text instances are close to each other. Most current works simply measure the video-text similarity based on video-level and text-level embeddings. However, the neglect of more fine-grained or local information causes the problem of insufficient representation. Some works exploit the local details by disentangling sentences, but overlook the corresponding videos, causing the asymmetry of video-text representation. To address the above limitations, we propose a Hierarchical Alignment Network (HANet) to align different level representations for video-text matching. Specifically, we first decompose video and text into three semantic levels, namely event (video and text), action (motion and verb), and entity (appearance and noun). Based on these, we naturally construct hierarchical representations in the individual-local-global manner, where the individual level focuses on the alignment between frame and word, local level focuses on the alignment between video clip and textual context, and global level focuses on the alignment between the whole video and text. Different level alignments capture fine-to-coarse correlations between video and text, as well as take the advantage of the complementary information among three semantic levels. Besides, our HANet is also richly interpretable by explicitly learning key semantic concepts. Extensive experiments on two public datasets, namely MSR-VTT and VATEX, show the proposed HANet outperforms other state-of-the-art methods, which demonstrates the effectiveness of hierarchical representation and alignment. Our code is publicly available.

研究动机与目标

• 为解决现有视频-文本检索方法仅依赖全局嵌入、忽略细粒度、局部和互补语义信息的局限性。
• 通过将两种模态共同解析为一致的语义层次（事件、动作和实体），克服视频-文本表征中的不对称性。
• 通过在个体（帧-词）、局部（片段-上下文）和全局（整个视频-文本）层次上分层对齐表示，提升检索性能。
• 通过显式学习和可视化关键语义概念，提升模型可解释性，采用弱监督概念分类方法。

提出的方法

• HANet 使用基于概念的分类方法，将视频和文本分解为三个语义层次：事件（整个视频/文本）、动作（运动/动词）和实体（外观/名词）。
• 在视频解析方面，采用弱监督的多实例学习（MIL）框架，并引入 SeMe 模块，从片段中选择并聚合与概念相关的帧。
• 文本通过现有的自然语言处理工具包进行解析，提取动词和名词，并通过关系图卷积网络（GCN）建模，以捕捉上下文依赖关系。
• 采用三种不同的对齐头：个体层次对齐通过概念特定预测将帧级特征与词级特征匹配；局部层次对齐将视频片段与文本上下文匹配；全局层次对齐将整个视频和文本嵌入进行匹配。
• 模型通过对比损失端到端训练，以优化联合嵌入空间，使正样本对更接近，负样本对更远离。
• 分层对齐机制实现了跨层次的互补信息流动，提升了模型的鲁棒性和表征质量。

实验结果

研究问题

• RQ1 与单一层次的全局匹配相比，跨多个语义层次的分层对齐是否能提升视频-文本检索性能？
• RQ2 细粒度的动作和实体概念的整合在视频-文本匹配中如何增强表征学习？
• RQ3 在无需密集标注的情况下，弱监督的概念驱动视频解析在多大程度上提升了可解释性和对齐准确性？
• RQ4 个体、局部和全局层次对齐的组合是否在检索性能上带来互补性增益？
• RQ5 HANet 在实例级假设下，如何处理模糊或存在多个相关视频的检索情况？

主要发现

• HANet 在 MSR-VTT 和 VATEX 基准测试中均达到最先进性能，优于现有方法，且无需额外预训练或外部特征。
• 完整的分层对齐（个体 + 局部 + 全局）达到最佳性能，相比仅使用全局对齐，SumR 提升了 18.6，证明了多层次表征的价值。
• 消融实验表明，每一级对齐均独立贡献，三者结合时性能最高，验证了其互补性。
• SeMe 模块和关系图 GCN 相较于简单的全连接层显著提升性能，证明其在捕捉视频和文本上下文方面的有效性。
• 可视化结果表明，HANet 能以高置信度预测相关概念（如 'soccer'、'play'、'talk'），且帧级注意力聚焦于语义上有意义的区域，证实了模型的可解释性。
• 在模糊情况下，HANet 能检索到多个相关视频，表明其在实例级检索假设下的鲁棒性。