[论文解读] Cross-Modal and Hierarchical Modeling of Video and Text

Bowen Zhang, Hexiang Hu+1 more|arXiv (Cornell University)|Oct 16, 2018

Multimodal Machine Learning Applications参考文献 4被引用 8

一句话总结

本文提出分层序列嵌入（HSE），一种跨模态模型，通过利用层次结构（局部层面的片段/句子与全局层面的视频/段落）联合学习视频与文本表征。通过对比损失强制配对片段与句子之间的对应关系，并结合逐层重建，HSE在视频-文本检索、零样本动作识别和视频字幕生成任务中均达到最先进性能，CIDEr得分与零样本迁移准确率均有显著提升。

ABSTRACT

Visual data and text data are composed of information at multiple granularities. A video can describe a complex scene that is composed of multiple clips or shots, where each depicts a semantically coherent event or action. Similarly, a paragraph may contain sentences with different topics, which collectively conveys a coherent message or story. In this paper, we investigate the modeling techniques for such hierarchical sequential data where there are correspondences across multiple modalities. Specifically, we introduce hierarchical sequence embedding (HSE), a generic model for embedding sequential data of different modalities into hierarchically semantic spaces, with either explicit or implicit correspondence information. We perform empirical studies on large-scale video and paragraph retrieval datasets and demonstrated superior performance by the proposed methods. Furthermore, we examine the effectiveness of our learned embeddings when applied to downstream tasks. We show its utility in zero-shot action recognition and video captioning.

研究动机与目标

• 为解决在共享语义空间中建模分层、多粒度视频与文本数据的挑战。
• 通过显式建模局部（片段/句子）与全局（视频/段落）层面的对应关系，提升跨模态检索与生成性能。
• 在无需微调的情况下，利用预训练嵌入实现对动作识别的有效零样本迁移。
• 开发一种统一的学习框架，即使仅提供视频-段落对，亦能有效运行，无需片段-句子标注。

提出的方法

• HSE 使用分层RNN架构（如GRU）在多个粒度上编码视频与文本序列：局部层面为片段与句子，全局层面为视频与段落。
• 引入对比损失，将对应片段与句子的嵌入对齐于共享的局部语义空间，确保语义匹配的单元在嵌入空间中彼此接近。
• 应用逐层重建损失，以在每一层保留结构信息，提升所学表征的质量。
• 联合优化全局（视频-段落）与局部（片段-句子）对应关系，增强整个分层嵌入空间的一致性。
• 通过引入可微路由机制，将框架扩展至弱监督设置，允许仅使用视频-段落对进行训练，以推断局部层面的对齐关系。
• 使用预训练词向量（GloVe）与视频片段特征作为输入，在下游评估中不进行微调。

实验结果

研究问题

• RQ1 与平面序列建模相比，对视频与文本进行分层建模是否能提升跨模态检索性能？
• RQ2 在嵌入空间中强制片段与句子之间的对应关系，是否能提升全局视频与段落表征的质量？
• RQ3 所学的局部嵌入是否能在未访问动作特定训练数据的情况下泛化至零样本动作识别？
• RQ4 在视频字幕生成任务中，所提方法表现如何，尤其与专为密集字幕设计的模型相比？
• RQ5 当仅提供视频-段落对而无显式片段-句子标注时，模型是否能在弱监督设置下实现泛化？

主要发现

• HSE在视频-文本检索任务中达到最先进性能，在B@2、METEOR与CIDEr指标上均优于LSTM-YT、S2VT与HRNN等基线模型。
• 在MSVD数据集上，HSE的CIDEr得分为124.8，超越所有先前方法，包括专为字幕生成优化的密集字幕模型Dense [20]，尽管HSE本身未针对字幕任务进行优化。
• 在ActivityNet数据集的零样本动作识别任务中，HSE的平均mAP达到0.481，显著优于基线FSE，且与全监督模型FV-VAE性能相当。
• 模型展现出强大的泛化能力：HSE [τ=0] 与 HSE 在零样本与分类设置中均优于FSE，表明分层建模同时增强了局部与全局表征。
• t-SNE可视化结果表明，HSE嵌入按动作类别聚类，证实语义结构在学习到的嵌入空间中得以保留。
• 微调预训练视频嵌入并未提升性能，表明预训练表征已对下游任务具有高度有效性。