[论文解读] Accurate and Fast Compressed Video Captioning

Yaojie Shen, Xin Gu+4 more|arXiv (Cornell University)|Sep 22, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

该论文提出了一种端到端的压缩域视频字幕模型，直接处理压缩视频中的I帧、运动矢量和残差，避免了冗余的解码和特征提取。通过利用经过优化的、非冗余的压缩视频组件，该方法在MSRVTT数据集上取得了SOTA的CIDEr得分（56.2），同时推理速度接近之前方法的2倍。

ABSTRACT

Existing video captioning approaches typically require to first sample video frames from a decoded video and then conduct a subsequent process (e.g., feature extraction and/or captioning model learning). In this pipeline, manual frame sampling may ignore key information in videos and thus degrade performance. Additionally, redundant information in the sampled frames may result in low efficiency in the inference of video captioning. Addressing this, we study video captioning from a different perspective in compressed domain, which brings multi-fold advantages over the existing pipeline: 1) Compared to raw images from the decoded video, the compressed video, consisting of I-frames, motion vectors and residuals, is highly distinguishable, which allows us to leverage the entire video for learning without manual sampling through a specialized model design; 2) The captioning model is more efficient in inference as smaller and less redundant information is processed. We propose a simple yet effective end-to-end transformer in the compressed domain for video captioning that enables learning from the compressed video for captioning. We show that even with a simple design, our method can achieve state-of-the-art performance on different benchmarks while running almost 2x faster than existing approaches. Code is available at https://github.com/acherstyx/CoCap.

研究动机与目标

• 解决现有视频字幕流水线中依赖帧解码和冗余特征提取所导致的低效问题。
• 通过处理压缩视频而非解码帧来提升推理速度。
• 通过利用压缩视频组件中经过优化的非冗余信息来提升字幕生成的准确性。
• 消除离线特征提取，降低视频字幕任务中的计算开销。
• 证明压缩域学习可以达到甚至超越基于完整帧的方法的性能，同时显著提升速度。

提出的方法

• 模型直接处理由I帧、运动矢量和残差组成的压缩视频输入，无需解码。
• 三个独立的编码器分别从I帧（上下文）、运动矢量（运动）和残差（细节）中提取特征。
• 一个动作编码器将上下文、运动和残差特征融合，生成统一的动作表征。
• 一个多模态Transformer解码器基于融合后的特征生成自然语言字幕。
• 整个流水线为端到端可训练，避免了离线特征提取和帧采样。
• 模型设计注重效率，通过处理紧凑且优化后的压缩数据，而非全分辨率帧。

实验结果

研究问题

• RQ1 与解码帧相比，处理压缩视频是否能维持甚至提升视频字幕性能？
• RQ2 同时使用I帧、运动矢量和残差是否比单独使用任一组件能获得更好的字幕生成效果？
• RQ3 图像组（GOP）的大小如何影响模型性能和推理速度？
• RQ4 各编码器的最优深度是多少，以在性能和效率之间取得平衡？
• RQ5 动作编码器能否有效整合对象级和动作级特征，从而提升字幕生成质量？

主要发现

• 该模型在MSRVTT数据集上取得了56.2的CIDEr得分，优于先前方法，且推理速度接近两倍于之前方法。
• 仅使用I帧时CIDEr得分为54.1，但当三者（I帧、运动矢量、残差）全部使用时，性能提升至56.2。
• 当移除动作编码器时，性能下降1.9分（降至54.3），表明其贡献显著。
• 较小的GOP尺寸（如KeyInt=60，GOP=8）比更大的GOP（如KeyInt=250）表现更优（CIDEr=56.2），尽管推理时间有所增加。
• 增加I帧编码器的层数可提升性能（CIDEr从56.2提升至57.2），但增加运动/残差模块的深度则无进一步增益。
• 定性结果表明，该模型生成的字幕在语义上保持一致，且与真实标签高度吻合，尤其在捕捉运动行为方面表现优异。