[论文解读] Learning to Discretely Compose Reasoning Module Networks for Video Captioning

Ganchao Tan, Daqing Liu+2 more|arXiv (Cornell University)|Jul 17, 2020

Multimodal Machine Learning Applications参考文献 36被引用 6

一句话总结

本文提出推理模块网络（RMN），一种新颖的视频字幕生成框架，通过使用基于语言损失训练的离散Gumbel近似模块选择器，动态组合三种时空推理模块——Locate、Relate和Func。RMN在MSVD和MSR-VTT数据集上达到最先进性能，CIDEr得分分别提升至94.4和49.6，且生成过程具备明确、可解释的推理步骤。

ABSTRACT

Generating natural language descriptions for videos, i.e., video captioning, essentially requires step-by-step reasoning along the generation process. For example, to generate the sentence "a man is shooting a basketball", we need to first locate and describe the subject "man", next reason out the man is "shooting", then describe the object "basketball" of shooting. However, existing visual reasoning methods designed for visual question answering are not appropriate to video captioning, for it requires more complex visual reasoning on videos over both space and time, and dynamic module composition along the generation process. In this paper, we propose a novel visual reasoning approach for video captioning, named Reasoning Module Networks (RMN), to equip the existing encoder-decoder framework with the above reasoning capacity. Specifically, our RMN employs 1) three sophisticated spatio-temporal reasoning modules, and 2) a dynamic and discrete module selector trained by a linguistic loss with a Gumbel approximation. Extensive experiments on MSVD and MSR-VTT datasets demonstrate the proposed RMN outperforms the state-of-the-art methods while providing an explicit and explainable generation process. Our code is available at https://github.com/tgc1997/RMN.

研究动机与目标

• 解决现有视频字幕模型中缺乏显式、分步视觉推理的问题。
• 实现在字幕生成过程中推理模块的动态且离散的组合。
• 通过将语言结构（如词性标注）整合到推理过程中，提升字幕质量。
• 设计专门的时空推理模块，用于跨空间与时间理解视频。
• 实现具有可解释性和可解释性的生成过程，并达到最先进性能。

提出的方法

• 模型采用三个专用的时空推理模块：Locate（用于视觉词生成的时空注意力）、Relate（用于动作词生成的区域对间交互）和Func（用于语言上下文感知的功能词生成）。
• 一个离散的模块选择器在每个解码步骤中使用Gumbel-Softmax动态选择三个模块之一，以实现可微采样。
• 模块选择器基于词性（POS）标注监督的语言损失进行训练，以使模块选择与语法结构对齐。
• 框架通过交叉熵损失（用于字幕生成）与语言损失（用于模块选择）的组合实现端到端可训练。
• 模型采用标准的编码器-解码器架构，使用CNN主干网络进行视频特征提取，RNN解码器实现自回归字幕生成。
• Gumbel近似使得反向传播能够通过离散的模块选择，从而实现模块与选择器的联合优化。

实验结果

研究问题

• RQ1 动态离散的模块组合机制是否能提升视频字幕中的推理能力？
• RQ2 如何有效整合语言结构（如词性标签）以指导生成过程中的模块选择？
• RQ3 专用的时空推理模块（Locate、Relate、Func）是否能带来更可解释且更准确的字幕生成？
• RQ4 Gumbel近似离散选择器是否能实现推理模块网络的端到端训练？
• RQ5 引入语言监督是否能同时提升模块选择准确率与整体字幕质量？

主要发现

• RMN在MSVD和MSR-VTT两个数据集上均达到新的最先进性能，MSR-VTT的CIDEr得分为94.4，MSVD为92.8。
• 语言损失在所有指标上均持续提升性能，证明其在对齐模块选择与语法结构方面的有效性。
• 词云分析确认每个模块均专注于其预设功能：Locate负责视觉词（如‘man’、‘basketball’），Relate负责动作词（如‘shooting’、‘playing’），Func负责功能词（如‘a’、‘is’）。
• 模型的生成过程是显式且可解释的，因为每个词在每一步均由一个明确的推理模块生成。
• RMN (H+L)优于RMN (S+L)，表明使用语言监督进行硬采样比软融合效果更优。
• 消融实验表明，语言损失显著提升了模块选择准确率与整体字幕质量。