[论文解读] CLIP4Caption ++: Multi-CLIP for Video Caption

Mingkang Tang, Zhanyu Wang+3 more|arXiv (Cornell University)|Oct 11, 2021

Multimodal Machine Learning Applications参考文献 13被引用 4

一句话总结

CLIP4Caption++ 提出了一种多CLIP视频字幕生成框架，通过使用三个预训练的CLIP模型（ViT-B/32、ViT-B/16、RN50x16）增强视觉特征提取，并结合SlowFast提取运动特征，融合视频字幕以丰富语义信息，采用基于TSN的数据增强方法，并应用词级别和句子级别的集成策略。该方法在VATEX上取得86.5的CIDEr分数，在YC2C上取得148.4的CIDEr分数，在TVC上取得64.5的CIDEr分数，荣获VALUE Challenge 2021字幕生成任务第一名。

ABSTRACT

This report describes our solution to the VALUE Challenge 2021 in the captioning task. Our solution, named CLIP4Caption++, is built on X-Linear/X-Transformer, which is an advanced model with encoder-decoder architecture. We make the following improvements on the proposed CLIP4Caption++: We employ an advanced encoder-decoder model architecture X-Transformer as our main framework and make the following improvements: 1) we utilize three strong pre-trained CLIP models to extract the text-related appearance visual features. 2) we adopt the TSN sampling strategy for data enhancement. 3) we involve the video subtitle information to provide richer semantic information. 3) we introduce the subtitle information, which fuses with the visual features as guidance. 4) we design word-level and sentence-level ensemble strategies. Our proposed method achieves 86.5, 148.4, 64.5 CIDEr scores on VATEX, YC2C, and TVC datasets, respectively, which shows the superior performance of our proposed CLIP4Caption++ on all three datasets.

研究动机与目标

• 通过使用多个强大的预训练CLIP模型来增强视觉特征表示，以提升视频字幕生成性能。
• 通过将视频字幕信息融入字幕生成模型，丰富语义理解。
• 通过基于TSN的帧采样方法进行数据增强，提升模型训练的泛化能力。
• 通过词级别和句子级别的集成策略提升模型鲁棒性与输出质量。
• 在无需额外预训练或数据的情况下，实现在基准视频字幕数据集上的最先进性能。

提出的方法

• 利用三个预训练的CLIP模型——CLIP(ViT-B/32)、CLIP(ViT-B/16) 和 CLIP(RN50x16)——从视频帧中提取多尺度、与文本对齐的视觉特征。
• 使用SlowFast(8x8)与ResNet-50，通过在不同帧率下分别处理慢速和快速路径，从64帧剪辑中提取运动特征。
• 在训练过程中应用TSN采样，从K个片段中每段随机采样一帧，以增加数据多样性并提升泛化能力。
• 通过将字幕分词并嵌入，与视觉特征联合处理，采用共享嵌入层和模态类型嵌入以区分不同模态。
• 在将视觉与文本特征通过拼接和模态类型嵌入融合后，输入X-Linear/X-Transformer编码器-解码器架构。
• 采用两阶段训练流程：第一阶段在增强特征上进行预训练，第二阶段通过SCST进行微调，以直接优化CIDEr分数。

实验结果

研究问题

• RQ1 结合多个预训练CLIP模型是否能提升视频字幕生成任务中的视觉表征质量？
• RQ2 融合视频字幕信息在多大程度上提升了生成字幕的语义丰富度？
• RQ3 基于TSN的采样方法在多大程度上增强了视频字幕模型的泛化能力？
• RQ4 词级别和句子级别的集成策略是否能显著提升字幕质量，超越单一模型输出？
• RQ5 与标准监督训练相比，采用SCST微调的端到端训练是否能带来更高的CIDEr分数？

主要发现

• 集成模型在VATEX测试集上达到86.5的CIDEr分数，超越了之前的最先进方法。
• 在YC2C数据集上，集成模型达到148.4的CIDEr分数，展现出在大规模、多样化视频字幕基准上的强大性能。
• 在TVC数据集上，该方法取得64.5的CIDEr分数，表明其在不同特性数据集上的鲁棒性。
• 消融实验表明，SCST微调使CIDEr相比基线提升了24.1%，凸显其在优化目标指标方面的有效性。
• 引入字幕信息使CIDEr提升了0.8分，表明其在丰富语义上下文方面的价值。
• 词级别与句子级别的集成策略共同使CIDEr相比基线提升了31.2%，证明其在提升最终输出质量方面的有效性。