[论文解读] Reconstruct and Represent Video Contents for Captioning via Reinforcement Learning

Wei Zhang, Bairui Wang+2 more|arXiv (Cornell University)|Jun 3, 2019

Multimodal Machine Learning Applications参考文献 68被引用 5

一句话总结

该论文提出RecNet，一种新颖的视频字幕生成框架，通过双学习机制整合前向（视频到句子）和后向（句子到视频）流。通过使用全局和局部重建器从解码器隐藏状态重建视频特征，并联合优化交叉熵损失与基于CIDEr的强化学习，RecNet显著提升了字幕生成性能，减少了暴露偏差，并增强了视频与文本之间的语义对齐。

ABSTRACT

In this paper, the problem of describing visual contents of a video sequence with natural language is addressed. Unlike previous video captioning work mainly exploiting the cues of video contents to make a language description, we propose a reconstruction network (RecNet) in a novel encoder-decoder-reconstructor architecture, which leverages both forward (video to sentence) and backward (sentence to video) flows for video captioning. Specifically, the encoder-decoder component makes use of the forward flow to produce a sentence description based on the encoded video semantic features. Two types of reconstructors are subsequently proposed to employ the backward flow and reproduce the video features from local and global perspectives, respectively, capitalizing on the hidden state sequence generated by the decoder. Moreover, in order to make a comprehensive reconstruction of the video features, we propose to fuse the two types of reconstructors together. The generation loss yielded by the encoder-decoder component and the reconstruction loss introduced by the reconstructor are jointly cast into training the proposed RecNet in an end-to-end fashion. Furthermore, the RecNet is fine-tuned by CIDEr optimization via reinforcement learning, which significantly boosts the captioning performance. Experimental results on benchmark datasets demonstrate that the proposed reconstructor can boost the performance of video captioning consistently.

研究动机与目标

• 为解决现有视频字幕模型仅依赖前向流（视频到句子）的局限性，忽略生成字幕到视频的后向信息。
• 通过利用后向重建作为正则化项，减少自回归解码中固有的暴露偏差。
• 通过联合训练重建损失与生成损失，提升视频内容与自然语言描述之间的语义对齐。
• 通过强化学习微调优化人类中心的评估指标（如CIDEr），实现对人类评价指标的直接优化。
• 证明从解码器隐藏状态重建全局与局部视频特征可提升字幕生成质量。

提出的方法

• 提出编码器-解码器-重建器架构，其中编码器使用CNN将视频帧处理为时序表示。
• 采用解码器（LSTM/GRU）从编码后的视频特征自回归地生成字幕。
• 引入两种重建器：全局重建器用于重建整体视频表示，局部重建器用于从解码器隐藏状态重建帧级特征。
• 使用重建损失（公式12与公式14）训练重建器，通过反向传播对编码器与解码器进行正则化。
• 将生成损失（交叉熵）与重建损失结合为联合训练目标（公式22），实现端到端优化。
• 采用REINFORCE算法进行微调，以优化CIDEr得分，实现对人类评估指标的直接优化。

实验结果

研究问题

• RQ1 从生成字幕到视频的后向信息是否能提升视频字幕生成性能？
• RQ2 从解码器隐藏状态重建全局与局部视频特征是否能减少自回归字幕生成中的暴露偏差？
• RQ3 通过联合训练重建损失与生成损失，能否增强视频与文本之间的语义对齐？
• RQ4 基于CIDEr的强化学习微调在多大程度上能超越标准交叉熵训练，提升字幕生成质量？
• RQ5 局部重建器与全局重建器在重建有意义视觉特征方面的能力有何差异？

主要发现

• 所提出的RecNet结合全局与局部重建器，在基准视频字幕数据集上达到最先进性能，优于标准编码器-解码器模型。
• 训练过程中重建损失持续下降，表明重建器成功学习从解码器隐藏状态复现视频特征。
• 使用RecNet后，解码器中的隐藏状态分布在训练与推理阶段更加一致，有效减少了暴露偏差。
• 定性结果表明，RecNet生成的字幕更准确、更富描述性，例如在基线模型失败的视频示例中，能正确识别出“化妆”和“面部”等关键信息。
• 通过CIDEr进行强化学习微调进一步提升了性能，证明了基于指标优化的有效性。
• 全局与局部重建器的融合效果优于单独使用任一类型，证实了两种视角的互补性。