[论文解读] End-to-end Concept Word Detection for Video Captioning, Retrieval, and Question Answering

Youngjae Yu, Hyungjin Ko+2 more|arXiv (Cornell University)|Oct 10, 2016

Multimodal Machine Learning Applications参考文献 14被引用 19

一句话总结

本文提出了一种端到端可训练的概念词检测器，仅使用字幕训练数据即可从视频片段中识别高层语义概念，无需外部知识。该方法集成了语义注意力机制，将检测到的概念融合进视频到语言模型中，显著提升了视频字幕生成、检索和问答任务的性能，在LSMDC 2016的四项任务中取得了三项最优结果。

ABSTRACT

We propose a high-level concept word detector that can be integrated with any video-to-language models. It takes a video as input and generates a list of concept words as useful semantic priors for language generation models. The proposed word detector has two important properties. First, it does not require any external knowledge sources for training. Second, the proposed word detector is trainable in an end-to-end manner jointly with any video-to-language models. To maximize the values of detected words, we also develop a semantic attention mechanism that selectively focuses on the detected concept words and fuse them with the word encoding and decoding in the language model. In order to demonstrate that the proposed approach indeed improves the performance of multiple video-to-language tasks, we participate in four tasks of LSMDC 2016. Our approach achieves the best accuracies in three of them, including fill-in-the-blank, multiple-choice test, and movie retrieval. We also attain comparable performance for the other task, movie description.

研究动机与目标

• 开发一种概念词检测器，可在不依赖外部知识源的情况下增强视频到语言模型。
• 实现概念检测器与视频到语言模型的端到端联合训练。
• 通过检测到的概念的语义注意力机制，提升视频字幕生成、检索和问答任务的性能。
• 通过统一框架在多个视频到语言任务中验证该方法的有效性。

提出的方法

• 概念词检测器使用跨帧区域的连续软注意力机制，识别与字幕中词语相关的稳定视觉模式。
• 仅使用视频与字幕配对数据进行端到端训练，无需外部数据集或预训练分类器。
• 语义注意力机制在语言模型的编码与解码阶段均选择性地聚焦于检测到的概念词。
• 检测到的概念被融合进编码器的词嵌入中，以丰富隐藏表示，并融合进输出预测以提高生成准确性。
• 该模型被集成到带有注意力机制的序列到序列架构中，实现检测与生成任务的联合优化。
• 采用模型集成方法进行最终预测，以提升在评估基准上的鲁棒性与性能。

实验结果

研究问题

• RQ1 能否仅使用视频-字幕配对数据，在不依赖外部知识的情况下有效训练概念词检测器？
• RQ2 概念检测与语言生成的端到端联合训练在多类视频到语言任务中如何提升性能？
• RQ3 检测到的概念词在多大程度上提升了视频字幕生成、检索与问答任务的性能？
• RQ4 语义注意力机制能否有效利用检测到的概念，以提升模型的推理与生成能力？

主要发现

• 所提方法在填空任务中取得了最高准确率，在LSMDC 2016中超越了所有其他参赛者。
• 在多项选择测试中以67.0%的准确率获得第一名，采用六组独立训练的模型集成。
• 在电影检索任务中取得了最佳检索性能，显著领先，召回率@k最高，中位排名最低。
• 概念检测器成功识别出如“clock”（时钟）、“office”（办公室）、“swimming”（游泳）和“water”（水）等相关语义概念，即使在复杂或模糊情况下也能引导正确预测。
• 定性分析表明，检测到的概念提升了模型的泛化能力，即使生成的字幕与真实标签不完全一致，也能捕捉到相关语义内容。
• 失败案例主要源于罕见或细微的视觉线索（如“twitch”（抽搐）或“cocks”（公鸡）），这些线索未被检测器或注意力机制充分捕捉。