[论文解读] Controllable Video Captioning with POS Sequence Guidance Based on Gated Fusion Network

Bairui Wang, Lin Ma+4 more|arXiv (Cornell University)|Aug 27, 2019

Multimodal Machine Learning Applications参考文献 7被引用 23

一句话总结

本文提出一种可控视频字幕模型，通过门控融合网络引入词性（POS）序列引导，以提升句法准确性和多样性。通过交叉门控机制融合运动与内容特征，并动态注入全局POS信息至解码器，该模型在MSR-VTT和MSVD数据集上实现最先进性能，显著提升句法控制能力与字幕质量。

ABSTRACT

In this paper, we propose to guide the video caption generation with Part-of-Speech (POS) information, based on a gated fusion of multiple representations of input videos. We construct a novel gated fusion network, with one particularly designed cross-gating (CG) block, to effectively encode and fuse different types of representations, e.g., the motion and content features of an input video. One POS sequence generator relies on this fused representation to predict the global syntactic structure, which is thereafter leveraged to guide the video captioning generation and control the syntax of the generated sentence. Specifically, a gating strategy is proposed to dynamically and adaptively incorporate the global syntactic POS information into the decoder for generating each word. Experimental results on two benchmark datasets, namely MSR-VTT and MSVD, demonstrate that the proposed model can well exploit complementary information from multiple representations, resulting in improved performances. Moreover, the generated global POS information can well capture the global syntactic structure of the sentence, and thus be exploited to control the syntactic structure of the description. Such POS information not only boosts the video captioning performance but also improves the diversity of the generated captions. Our code is at: https://github.com/vsislab/Controllable_XGating.

研究动机与目标

• 解决现有视频字幕模型未能充分利用多种视频表征之间关系，且在生成过程中忽略句法结构的问题。
• 通过将全局句法结构信息（以POS序列作为先验）整合到模型中，提升视频字幕生成性能。
• 通过操控全局POS序列来引导期望的句法结构，实现可控字幕生成。
• 设计一种新型交叉门控机制，以自适应方式融合多样化视频特征，实现更丰富的表征学习。

提出的方法

• 设计一种带有交叉门控（CG）模块的门控融合网络，以动态且自适应方式融合多种视频表征，如运动（C3D）和内容（I3D）特征。
• 在融合后的视频表征上训练POS序列生成器，以预测目标字幕的全局句法结构（以POS标签表示）。
• 引入动态门控策略，在每个解码步骤将预测的全局POS信息注入解码器，使词生成过程受句法上下文条件约束。
• 采用交叉熵损失进行字幕生成端到端训练，同时引入独立的损失函数用于POS序列预测。
• 解码器在视频特征上使用软注意力机制，并融合POS引导的门控信号，以在预测下一个词前优化隐藏状态。
• 推理阶段支持手动修改生成的POS序列，以控制句法结构，实现可控字幕生成。

实验结果

研究问题

• RQ1 门控融合网络能否有效建模多样化视频表征之间的关系，从而提升视频字幕生成性能？
• RQ2 全局POS序列预测能否作为有意义的先验，有效引导视频字幕中的句法结构？
• RQ3 在解码器中动态引入POS信息是否能同时提升生成字幕的准确性和多样性？
• RQ4 在推理阶段能否通过操控全局POS序列，实现生成描述中句法结构的可控变化？

主要发现

• 所提模型在MSR-VTT和MSVD两个数据集上均达到最先进性能，在BLEU、METEOR、ROUGE和CIDEr四项指标上全面超越基线模型。
• 采用（I3D, C3D）特征的模型在MSR-VTT上取得120.5的CIDEr分数，在MSVD上取得118.3的CIDEr分数，显著优于基线模型。
• 定性分析表明，模型生成的描述更准确且更详细，例如在POS引导下能正确识别“mixing”为动词、“ingredients”为名词。
• 成功实现可控字幕生成：将POS序列修改为包含“ADJ”或“NUM”时，可生成如“a man in a pink shirt”或“two teams”等符合用户意图的描述。
• 交叉门控机制有效捕捉了特征间的相互关系，即使在POS引导被修改时，仍能实现鲁棒的生成。
• POS信息的整合通过受控的结构先验，有效提升了字幕多样性，鼓励生成句法结构多样的输出。