[论文解读] Less is More: ClipBERT for Video-and-Language Learning via Sparse Sampling

Jie Lei, Linjie Li+5 more|arXiv (Cornell University)|Feb 11, 2021

Multimodal Machine Learning Applications参考文献 81被引用 48

一句话总结

ClipBERT 通过在训练期间对短视频片段进行稀疏采样，实现端到端的视频与语言学习，在检索和问答任务中达到与密集全视频特征方法相当或更好的结果。

ABSTRACT

The canonical approach to video-and-language learning (e.g., video question answering) dictates a neural model to learn from offline-extracted dense video features from vision models and text features from language models. These feature extractors are trained independently and usually on tasks different from the target domains, rendering these fixed features sub-optimal for downstream tasks. Moreover, due to the high computational overload of dense video features, it is often difficult (or infeasible) to plug feature extractors directly into existing approaches for easy finetuning. To provide a remedy to this dilemma, we propose a generic framework ClipBERT that enables affordable end-to-end learning for video-and-language tasks, by employing sparse sampling, where only a single or a few sparsely sampled short clips from a video are used at each training step. Experiments on text-to-video retrieval and video question answering on six datasets demonstrate that ClipBERT outperforms (or is on par with) existing methods that exploit full-length videos, suggesting that end-to-end learning with just a few sparsely sampled clips is often more accurate than using densely extracted offline features from full-length videos, proving the proverbial less-is-more principle. Videos in the datasets are from considerably different domains and lengths, ranging from 3-second generic domain GIF videos to 180-second YouTube human activity videos, showing the generalization ability of our approach. Comprehensive ablation studies and thorough analyses are provided to dissect what factors lead to this success. Our code is publicly available at https://github.com/jayleicn/ClipBERT

研究动机与目标

• 在不依赖固定、密集提取特征的前提下，推动端到端的视频与语言学习。
• 提出一个稀疏采样框架：每个视频仅用少量短片进行训练，以减少内存和计算量。
• 证明图像-文本预训练有益于视频-文本任务，并且端到端微调能够提升性能。

提出的方法

• 在训练期间，对每个视频稀疏采样一个或几个短片段，并对采样片段的预测进行聚合。
• 每个采样片段使用 2D ResNet-50 视觉主干进行编码，并通过一个跨模态模块中的 12 层变换器与文本融合。
• 在训练期间，梯度通过视觉和语言编码器流动，以进行特定任务的微调（端到端学习）。
• 在推理阶段，对密集采样片段的预测进行聚合（例如，平均、LogSumExp），以形成最终的视频级输出。
• 我们从图像-文本预训练（COCO/Visual Genome）初始化视觉和语言组件，并在下游视频-文本任务上进行微调。

实验结果

研究问题

• RQ1 在训练阶段的稀疏采样是否在文本到视频检索和视频问答任务上具有与密集全视频特征方法相当或更优的性能？
• RQ2 图像-文本预训练和端到端微调是否能够提升视频-文本理解任务？
• RQ3 输入分辨率、帧数和片段数对性能与效率有何影响？
• RQ4 对片段的聚合策略如何影响最终预测？
• RQ5 在保持或提高准确性的前提下，稀疏采样比密集采样更节省内存吗？

主要发现

• 每个片段含两帧的稀疏采样在检索和问答任务中通常能达到甚至超越对 16 帧的密集采样。
• 在 ClipBERT 中，对帧进行均值池化以融合时间信息比 3D 卷积更有效。
• 推理时增加片段数量可提升性能，但达到若干片段后收益递减。
• 稀疏随机采样在内存和计算效率方面优于密集均匀采样，同时提供更好或相当的准确度。
• 图像-文本预训练（COCO/Visual Genome）在端到端微调后显著提升 MSRVTT 检索和 MSRVTT-QA 结果。
• 端到端训练的性能优于仅冻结视觉或语言编码器。