[论文解读] End-to-End Video Captioning with Multitask Reinforcement Learning

Lijun Li, Boqing Gong|arXiv (Cornell University)|Mar 21, 2018

Multimodal Machine Learning Applications参考文献 56被引用 6

一句话总结

本文提出一种多任务强化学习方法，用于端到端视频字幕生成，通过联合优化字幕生成、属性预测和基于强化学习的奖励最大化，从原始视频端到端训练单一模型生成自然语言字幕。该方法在 MSVD 和 MSR-VTT 数据集上取得最先进性能，通过有效的监督挖掘和渐进式训练，显著超越先前模型。

ABSTRACT

Although end-to-end (E2E) learning has led to impressive progress on a variety of visual understanding tasks, it is often impeded by hardware constraints (e.g., GPU memory) and is prone to overfitting. When it comes to video captioning, one of the most challenging benchmark tasks in computer vision, those limitations of E2E learning are especially amplified by the fact that both the input videos and output captions are lengthy sequences. Indeed, state-of-the-art methods for video captioning process video frames by convolutional neural networks and generate captions by unrolling recurrent neural networks. If we connect them in an E2E manner, the resulting model is both memory-consuming and data-hungry, making it extremely hard to train. In this paper, we propose a multitask reinforcement learning approach to training an E2E video captioning model. The main idea is to mine and construct as many effective tasks (e.g., attributes, rewards, and the captions) as possible from the human captioned videos such that they can jointly regulate the search space of the E2E neural network, from which an E2E video captioning model can be found and generalized to the testing phase. To the best of our knowledge, this is the first video captioning model that is trained end-to-end from the raw video input to the caption output. Experimental results show that such a model outperforms existing ones to a large margin on two benchmark video captioning datasets.

研究动机与目标

• 为解决端到端视频字幕模型训练中的挑战，包括因长输入和输出序列导致的高内存消耗及过拟合问题。
• 克服传统交叉熵训练的局限性，该方法在端到端设置下泛化能力差，原因在于暴露偏差和数据稀缺。
• 开发统一框架，利用辅助任务——属性预测和强化学习——有效监督深度编码器-解码器网络的训练。
• 证明在硬件和数据受限条件下，结合多任务学习与渐进式训练，端到端训练是可行且更优的。

提出的方法

• 模型采用联合端到端架构，使用 CNN 主干网络进行视频帧编码，LSTM 解码器生成字幕。
• 通过从人工标注字幕中提取视觉和语言属性（如物体、动作、属性）引入辅助属性预测任务，提供额外监督。
• 强化学习模块采用 REINFORCE 算法结合蒙特卡洛轨迹采样，基于 BLEU 和 ROUGE 奖励优化字幕生成策略，降低暴露偏差。
• 训练采用渐进式流程：首先使用交叉熵损失预训练 CNN，然后使用 REINFORCE 微调，最后通过多任务学习联合优化所有组件。
• 将属性预测损失（$L_a$）、字幕生成损失（$L_x$）和强化学习损失（$L_r$）以凸组合形式结合，以稳定训练过程。
• 模型通过反向传播进行端到端训练，所有辅助任务的梯度均反向传播至 CNN 和 LSTM 组件。

实验结果

研究问题

• RQ1 在硬件和数据受限条件下，仅使用可用的人工标注字幕，能否有效训练端到端视频字幕模型？
• RQ2 结合属性预测和强化学习的多任务学习是否能提升端到端视频字幕的泛化能力并减少过拟合？
• RQ3 使用策略梯度方法（如 REINFORCE）的强化学习能否缓解自回归解码中固有的暴露偏差？
• RQ4 渐进式训练（从监督预训练开始，再过渡到强化学习）对最终性能有何影响？
• RQ5 是否可能在不依赖外部数据集或预训练图像特征的情况下实现最先进结果？

主要发现

• 所提出的多任务强化学习方法在 MSVD 和 MSR-VTT 两个数据集上均取得最先进性能，显著超越现有模型。
• 消融实验证明，若移除属性预测分支或跳过 REINFORCE 步骤，性能将显著下降，证实二者必要性。
• 在 REINFORCE 算法中使用多个轨迹采样（rollouts）可使性能较标准 REINFORCE 提升 1% 至 2%，表明轨迹采样具有优势。
• 直接使用交叉熵损失进行端到端训练无法泛化，性能甚至劣于 S2VT 基线模型，凸显所提渐进式训练策略的必要性。
• 定性分析显示，与 S2VT 基线相比，该模型生成的字幕更准确、语法正确且内容忠实。
• 在视频字幕特定特征上微调 CNN（而非使用 ImageNet 预训练）可显著提升性能，证明任务特定表征学习的价值。