[论文解读] Dual Dense Encoding for Zero-Example Video Retrieval.

Jianfeng Dong, Xirong Li+3 more|arXiv (Cornell University)|Sep 17, 2018

Multimodal Machine Learning Applications被引用 10

一句话总结

本文提出了一种无概念的双通道密集编码网络，通过直接建模序列到序列的跨模态匹配，而无需依赖中间概念，从而在三个基准数据集——MSR-VTT、TRECVID 2016 和 2017 上实现了零样本视频检索的最先进性能，学习到强大且端到端的视频与自然语言查询的密集表征。

ABSTRACT

This paper attacks the challenging problem of zero-example video retrieval. In such a retrieval paradigm, an end user searches for unlabeled videos by ad-hoc queries described in natural language text with no visual example provided. Given videos as sequences of frames and queries as sequences of words, an effective sequence-to-sequence cross-modal matching is required. The majority of existing methods are concept based, extracting relevant concepts from queries and videos and accordingly establishing associations between the two modalities. In contrast, this paper takes a concept-free approach, proposing a dual deep encoding network that encodes videos and queries into powerful dense representations of their own. Dual encoding is conceptually simple, practically effective and end-to-end. As experiments on three benchmarks, i.e. MSR-VTT, TRECVID 2016 and 2017 Ad-hoc Video Search show, the proposed solution establishes a new state-of-the-art for zero-example video retrieval.

研究动机与目标

• 为解决零样本视频检索的挑战，即用户仅使用自然语言查询而无需视觉示例来搜索未标注的视频。
• 克服基于概念的方法在跨模态对齐中依赖中间视觉或文本概念的局限性。
• 开发一种简单而有效的端到端框架，直接将视频帧和文本查询编码为密集且语义丰富的表征。
• 在多个标准基准上建立零样本视频检索的新最先进水平。

提出的方法

• 提出一种双通道深度编码网络，使用独立的神经编码器将视频帧和文本查询分别编码为密集向量表征。
• 采用序列到序列的跨模态匹配机制，直接比较视频和查询的密集嵌入，而无需中间概念检测。
• 通过端到端训练优化视频与查询嵌入之间的对齐，基于对比学习或类似目标。
• 利用注意力机制和基于 Transformer 的架构，以建模视频和文本序列中的长距离依赖关系。
• 应用共享投影头或归一化策略，以确保视频与查询嵌入空间之间的语义兼容性。
• 使用对比损失进行模型训练，以最大化匹配视频-查询对之间的相似性，同时最小化不匹配对之间的相似性。

实验结果

研究问题

• RQ1 无概念方法是否能在零样本视频检索中超越基于概念的方法？
• RQ2 端到端双通道密集编码在学习视频与自然语言查询的语义对齐表征方面有多有效？
• RQ3 所提出的方法是否能在 MSR-VTT 和 TRECVID 2016/2017 等多样化基准上实现良好泛化？
• RQ4 移除中间概念提取对检索性能和模型简洁性有何影响？

主要发现

• 所提出的双通道密集编码模型在 MSR-VTT 基准上实现了零样本视频检索的新最先进性能。
• 该方法通过直接建模跨模态匹配而无需依赖中间视觉或文本概念，在性能上超越了现有基于概念的方法。
• 该模型在 TRECVID 2016 和 2017 的 Ad-hoc Video Search 基准上也取得了优异结果，证明了其在不同数据集上的强大泛化能力。
• 消融实验确认，无概念设计有助于提升性能并增强模型简洁性。