[论文解读] Dual Encoding for Zero-Example Video Retrieval

Jianfeng Dong, Xirong Li+5 more|arXiv (Cornell University)|Sep 17, 2018

Multimodal Machine Learning Applications参考文献 36被引用 7

一句话总结

该论文提出了一种无概念的双编码框架，通过共享架构独立学习视频和自然语言查询的深层多层级表征，实现端到端的跨模态匹配。通过在分层级别上结合平均池化、双向GRU和1D-CNN并引入跳跃连接，该方法在MSR-VTT、TRECVID 2016/2017和MSVD上实现了最先进性能，优于以往基于概念的方法和单编码方法，在零样本视频检索任务中表现优异。

ABSTRACT

This paper attacks the challenging problem of zero-example video retrieval. In such a retrieval paradigm, an end user searches for unlabeled videos by ad-hoc queries described in natural language text with no visual example provided. Given videos as sequences of frames and queries as sequences of words, an effective sequence-to-sequence cross-modal matching is required. The majority of existing methods are concept based, extracting relevant concepts from queries and videos and accordingly establishing associations between the two modalities. In contrast, this paper takes a concept-free approach, proposing a dual deep encoding network that encodes videos and queries into powerful dense representations of their own. Dual encoding is conceptually simple, practically effective and end-to-end. As experiments on three benchmarks, i.e. MSR-VTT, TRECVID 2016 and 2017 Ad-hoc Video Search show, the proposed solution establishes a new state-of-the-art for zero-example video retrieval.

研究动机与目标

• 为解决零样本视频检索的挑战，即用户使用自然语言查询搜索未标注视频，且不提供视觉示例。
• 克服基于概念的方法的局限性，这些方法依赖预定义的可检测概念，且面临概念选择和分类器训练的问题。
• 开发一种无概念、端到端的框架，直接从原始视频帧和文本序列中学习强大且共享的语义表征。
• 通过多层级编码与跳跃连接学习分层互补特征，提升跨模态匹配性能。
• 在包括MSR-VTT、TRECVID 2016/2017和MSVD在内的多样化基准上，证明双编码的有效性。

提出的方法

• 该方法采用双深度编码网络，使用相同的多层级编码模块并行处理视频和查询。
• 每个输入通过三条并行路径进行编码：帧特征的平均池化、双向GRU（biGRU），以及先经biGRU再接1D卷积网络（biGRU-CNN）。
• 通过跳跃连接将不同层级的特征进行融合，使高层表示逐步整合低层细节。
• 在每个层级上，将三条编码路径的输出进行拼接，形成每种模态的丰富分层特征向量。
• 这些模态特定的表征随后通过VSE++映射到共享嵌入空间，用于相似性计算。
• 整个模型采用端到端训练，支持视频的离线编码和对临时查询的实时响应。

实验结果

研究问题

• RQ1 无概念、端到端的深度编码框架是否能在零样本视频检索中超越基于概念的方法？
• RQ2 带有跳跃连接的多层级编码在捕捉视频和文本中的全局、局部及时间模式方面有多有效？
• RQ3 所提出的双编码是否能在MSR-VTT、TRECVID 2016/2017和MSVD等多样化基准上提升性能？
• RQ4 在双框架中，视频侧编码相较于文本侧编码的贡献程度如何？
• RQ5 所提出的编码模块能否有效集成到现有通用空间学习模型（如VSE++）中以提升性能？

主要发现

• 在MSR-VTT基准上，所提出的双编码方法实现了23.2%的平均平均精度（mAP），优于先前最先进方法。
• 在TRECVID 2016和2017的即兴视频搜索任务中，该方法建立了新的最先进水平，展现出在复杂真实查询上的优越泛化能力。
• 在MSVD数据集上，该方法实现了0.232的mAP，表明其在跨数据集评估场景中表现强劲。
• 在MPII-MD数据集上，该方法实现了0.037的mAP，是所有对比模型中的最高值，表明其在电影描述检索任务中的有效性。
• 当集成到VSE++用于Flickr30K和MSCOCO上的图像-文本检索时，多层级文本编码使Flickr30K的R@1提升1.6%，R@10提升4.4%；在MSCOCO上分别提升1.1%和1.6%。
• 检索系统实现了实时性能，可在标准硬件上以约0.14秒/查询的速度处理包含335,944个视频的数据集。