[论文解读] GL-RG: Global-Local Representation Granularity for Video Captioning

Liqi Yan, Qifan Wang+5 more|arXiv (Cornell University)|May 22, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本论文提出GL-RG，一种用于视频字幕生成的全局-局部表征粒度框架，通过新颖的多表征编码器联合建模长时序连贯性、短时运动动态和局部关键帧细节，从而提升字幕质量。该方法采用增量式两阶段训练策略，结合判别性损失与强化学习组件，在MSR-VTT和MSVD基准上实现了最先进性能。

ABSTRACT

Video captioning is a challenging task as it needs to accurately transform visual understanding into natural language description. To date, state-of-the-art methods inadequately model global-local representation across video frames for caption generation, leaving plenty of room for improvement. In this work, we approach the video captioning task from a new perspective and propose a GL-RG framework for video captioning, namely a extbf{G}lobal- extbf{L}ocal extbf{R}epresentation extbf{G}ranularity. Our GL-RG demonstrates three advantages over the prior efforts: 1) we explicitly exploit extensive visual representations from different video ranges to improve linguistic expression; 2) we devise a novel global-local encoder to produce rich semantic vocabulary to obtain a descriptive granularity of video contents across frames; 3) we develop an incremental training strategy which organizes model learning in an incremental fashion to incur an optimal captioning behavior. Experimental results on the challenging MSR-VTT and MSVD datasets show that our DL-RG outperforms recent state-of-the-art methods by a significant margin. Code is available at \url{https://github.com/ylqi/GL-RG}.

研究动机与目标

• 解决现有视频字幕方法在有效建模全局（长时序）与局部（短时序、关键帧）视觉表征方面的局限性。
• 通过显式建模视频帧间表征粒度，克服图神经网络方法中的过平滑问题以及简单多模态融合的低效性。
• 通过设计一种缓解人工标注差异并增强强化学习中奖励估计的训练策略，提升字幕生成性能。
• 通过同时捕捉时空对应关系、运动趋势与物体外观细节，实现细粒度、描述性字幕生成。

提出的方法

• 提出一种包含三个并行分支的全局-局部编码器：长时序编码器用于跨帧时序对应，短时序编码器用于运动与趋势建模，局部关键帧编码器用于细粒度物体细节捕捉。
• 引入一种新颖的增量式两阶段训练策略：第一阶段为种子训练阶段，使用交叉熵损失与加权指标（如CIDEr）以减少标注差异；第二阶段为提升阶段，使用差异奖励进行强化学习。
• 在种子阶段采用判别性交叉熵损失以稳定学习过程，并减轻人工标注差异带来的偏差。
• 在提升阶段采用奖励函数，将模型生成的字幕与基线（b₁或b₂）进行比较，其中b₂基于top-Q生成的句子，以更准确估计期望奖励。
• 在种子阶段以CIDEr为主要加权指标，该策略在所有评估指标上均取得最优性能。
• 整合来自不同视频时序范围的多粒度视觉表征，以丰富语义词汇并提升语言表达力。

实验结果

研究问题

• RQ1 如何有效建模不同视频时序范围的全局-局部视觉表征，以提升视频字幕质量？
• RQ2 能否通过多分支编码器架构联合捕捉长时序、短时序与局部关键帧特征，从而增强时空理解与字幕细节？
• RQ3 结合非强化学习与强化学习阶段的增量训练策略，是否能优于端到端训练，带来更优的字幕生成性能？
• RQ4 在强化学习中，选择不同的奖励基线（b₁ vs. b₂）如何影响训练稳定性与性能表现？
• RQ5 在种子阶段使用加权指标（如CIDEr）是否能提升模型泛化能力并降低对标注噪声的敏感性？

主要发现

• GL-RG在MSR-VTT和MSVD上均达到最先进性能，CIDEr得分分别为60.6（MSR-VTT）与65.7（MSVD），显著优于先前SOTA方法。
• 在种子阶段使用CIDEr作为加权指标的模型（DXE）表现最佳，相较XE基线CIDEr提升3.8分。
• 从DXE训练的种子模型开始的提升阶段，性能（MSR-VTT上CIDEr为60.6）优于从XE开始，证明了种子阶段的有效性。
• 在提升阶段使用b₂作为基线（基于top-Q生成句子）的性能优于b₁（基于真实标注句子），在MSR-VTT上CIDEr提升9.4分。
• 增量训练策略在提升性能的同时缩短了训练时间，模型比以往方法更快达到最优结果。
• 消融实验证实，结合三种表征类型（长时序、短时序、局部关键帧）可获得最高性能，其中长时序编码器对整体性能提升贡献最大。