[论文解读] Video Captioning and Retrieval Models with Semantic Attention.

Youngjae Yu, Hyungjin Ko+2 more|arXiv (Cornell University)|Oct 10, 2016

Multimodal Machine Learning Applications参考文献 3被引用 37

一句话总结

本文提出一种与概念词检测器集成的语义注意力机制，通过直接从视频输入生成语义先验，增强视频字幕生成与检索模型，而无需外部知识。端到端可训练的检测器识别相关概念词，随后在语言生成过程中选择性地关注这些概念词，在四个LSMDC 2016任务中的三个任务上达到最先进性能，包括填空题和电影检索任务。

ABSTRACT

We propose a high-level concept word detector that can be integrated with any video-to-language models. It takes a video as input and generates a list of concept words as useful semantic priors for language generation models. The proposed word detector has two important properties. First, it does not require any external knowledge sources for training. Second, the proposed word detector is trainable in an end-to-end manner jointly with any video-to-language models. To maximize the values of detected words, we also develop a semantic attention mechanism that selectively focuses on the detected concept words and fuse them with the word encoding and decoding in the language model. In order to demonstrate that the proposed approach indeed improves the performance of multiple video-to-language tasks, we participate in four tasks of LSMDC 2016. Our approach achieves the best accuracies in three of them, including fill-in-the-blank, multiple-choice test, and movie retrieval. We also attain comparable performance for the other task, movie description.

研究动机与目标

• 通过直接从视频输入中提取的语义先验，提升视频到语言模型的性能。
• 开发一种无需依赖外部知识源进行训练的概念词检测器。
• 实现概念检测器与视频到语言模型的端到端联合训练。
• 通过语义注意力机制，有选择性地聚焦于检测到的概念词，以增强语言生成。
• 在多个视频到语言任务中展示性能提升，包括字幕生成与检索。

提出的方法

• 在视频输入上端到端训练一个高层次的概念词检测器，输出相关语义概念列表，而无需依赖外部知识。
• 检测到的概念词作为语义先验，用于指导视频字幕生成与检索模型中的语言生成。
• 引入一种语义注意力机制，以在语言模型的编码与解码过程中选择性地关注检测到的概念词。
• 整个系统，包括概念检测器与注意力机制，与视频到语言模型以端到端方式联合训练。
• 在LSMDC 2016基准的四个任务上评估该方法，包括填空题、多选题、电影检索与描述生成。

实验结果

研究问题

• RQ1 在视频输入上端到端训练的概念词检测器，是否能在不依赖外部知识的情况下提升视频字幕生成与检索性能？
• RQ2 语义注意力机制在语言生成过程中聚焦于检测到的概念词时，其有效性如何？
• RQ3 将检测到的语义先验集成后，是否能在多种多样的视频到语言任务中实现一致的性能提升？
• RQ4 所提出的方法是否能在多个视频理解基准上实现最先进性能？

主要发现

• 所提方法在LSMDC 2016挑战的填空题任务中取得了最佳准确率。
• 在所有提交方法中，其在多选题测试任务上表现最佳。
• 在电影检索任务中，该模型取得了最佳结果，表明视频与文本之间具有强大的语义对齐能力。
• 在电影描述任务中，该方法的性能与最先进方法相当，表明其在不同字幕风格下具有强大的泛化能力。