[论文解读] Less Is More: Picking Informative Frames for Video Captioning

Yangyu Chen, Shuhui Wang+2 more|arXiv (Cornell University)|Mar 5, 2018

Multimodal Machine Learning Applications参考文献 39被引用 26

一句话总结

本文提出 PickNet，一种基于强化学习的视频字幕帧选择方法，每段视频仅选取6–8张信息量高的帧，显著降低计算成本，同时保持竞争力的字幕生成性能。通过最大化视觉多样性并最小化与真实字幕的差异，PickNet 依次选择关键帧，实现视频输入的压缩，且不造成性能下降。

ABSTRACT

In video captioning task, the best practice has been achieved by attention-based models which associate salient visual components with sentences in the video. However, existing study follows a common procedure which includes a frame-level appearance modeling and motion modeling on equal interval frame sampling, which may bring about redundant visual information, sensitivity to content noise and unnecessary computation cost. We propose a plug-and-play PickNet to perform informative frame picking in video captioning. Based on a standard Encoder-Decoder framework, we develop a reinforcement-learning-based procedure to train the network sequentially, where the reward of each frame picking action is designed by maximizing visual diversity and minimizing textual discrepancy. If the candidate is rewarded, it will be selected and the corresponding latent representation of Encoder-Decoder will be updated for future trials. This procedure goes on until the end of the video sequence. Consequently, a compact frame subset can be selected to represent the visual information and perform video captioning without performance degradation. Experiment results shows that our model can use 6-8 frames to achieve competitive performance across popular benchmarks.

研究动机与目标

• 解决标准视频字幕流水线中使用均匀采样帧所导致的低效与冗余问题。
• 降低视频字幕中的计算成本及对视觉噪声（如模糊、遮挡）的敏感性。
• 通过最小化编码所用帧数，同时保持语义丰富性，提升模型效率。
• 通过动态、自适应的帧选择，实现实时与流式视频字幕生成。
• 开发一个即插即用模块，兼容现有的编码器-解码器视频字幕框架。

提出的方法

• 训练一个强化学习智能体，通过自定义奖励函数，按顺序选择信息量高的帧。
• 设计奖励函数以最大化所选帧之间的视觉多样性，并最小化与真实字幕的文本差异。
• 采用标准的编码器-解码器架构进行视频字幕生成，仅在选择帧时更新编码器。
• 应用胜者全取策略，基于累积奖励选择帧，确保所选帧集紧凑且具代表性。
• 将 PickNet 作为插件模块集成在主字幕模型之前，实现与多种最先进方法的兼容性。
• 通过实时处理帧并仅选择能逐步提升字幕质量的帧，实现在线推理。

实验结果

研究问题

• RQ1 基于强化学习的帧选择机制是否能在不降低性能的前提下减少视频字幕的输入帧数？
• RQ2 视觉多样性和字幕准确性在视频字幕的帧选择中分别起到何种作用？
• RQ3 帧选择在多大程度上能降低计算成本，同时在标准基准上保持有竞争力的性能？
• RQ4 所提方法是否可应用于低延迟、高响应性的流式视频字幕？
• RQ5 所选帧在视频时长中的分布如何反映模型对关键内容的理解？

主要发现

• PickNet 仅使用每视频6–8帧即达到有竞争力的性能，相比标准方法计算成本降低高达80%。
• 在 MSR-VTT 基准上，PickNet (V+L) 的 CIDEr 得分为 42.1，优于基线模型（41.2），且在少于10帧的情况下达到最先进模型的性能。
• MSVD 的平均选帧数为6，MSR-VTT 为8，表明仅需约33%的帧即可实现有效字幕生成。
• 模型在帧选择上呈现幂律分布，偏好早期帧，这与大多数视频的单次拍摄特性一致。
• PickNet 将推理时间缩短至基线的1倍（基线为3.8倍），是对比方法中最快者。
• 该方法对内容噪声具有鲁棒性，在无需辅助属性信息的情况下仍能保持性能，而其他最先进模型则依赖此类信息。