[论文解读] The End-of-End-to-End: A Video Understanding Pentathlon Challenge (2020)

Samuel Albanie, Yang Liu+19 more|arXiv (Cornell University)|Aug 3, 2020

Human Pose and Action Recognition参考文献 30被引用 10

一句话总结

本文介绍了CVPR 2020的视频理解五项全能挑战赛，这是一场开放竞赛，通过使用预提取的多模态特征而非端到端训练来评估文本到视频检索系统。该挑战赛采用专家驱动的方法，取得了最先进性能，顶尖团队在五个不同的视频检索基准上应用了多模态变换器、分层图推理和集成方法。

ABSTRACT

We present a new video understanding pentathlon challenge, an open competition held in conjunction with the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2020. The objective of the challenge was to explore and evaluate new methods for text-to-video retrieval-the task of searching for content within a corpus of videos using natural language queries. This report summarizes the results of the first edition of the challenge together with the findings of the participants.

研究动机与目标

• 评估并推进无需在大规模视频数据上进行端到端训练的文本到视频检索方法。
• 通过利用预训练模型（专家）提取的预提取特征，促进实用、可访问且高效的视频理解。
• 在五个不同的视频检索数据集上建立基准，以测试检索模型的泛化能力和鲁棒性。
• 通过使用缓存的预提取特征，使没有工业级计算资源的研究人员也能为视频理解做出贡献。
• 识别在使用专家特征时，用于跨模态视频检索的有效架构、损失函数和训练策略。

提出的方法

• 参赛者获得了来自预训练模型的预提取视觉、音频和语言特征，包括时间平均、最大池化和固定片段聚合。
• 该挑战赛使用了五个基准数据集：MSVD、DiDeMo、ActivityNet、MSR-VTT和YouCook2，每个数据集具有不同的视频内容和注释风格。
• 表现最佳的团队使用多模态变换器联合编码视频和文本特征，实现在模态之间的交叉注意力。
• 集成方法被广泛使用，最高分团队在每个数据集上结合了16个模型，以提高泛化能力和鲁棒性。
• 应用了诸如查询扩展、中心性抑制（例如，反向Softmax）和分层图推理等技术，以提升检索准确性。
• 模型通过两阶段流程进行训练和评估：在公开验证集上进行开发，最终在隐藏测试集上进行评估。

实验结果

研究问题

• RQ1 非端到端的、专家驱动的方法是否能在多样化的基准上实现文本到视频检索的最先进性能？
• RQ2 当应用于预提取特征时，集成方法和多模态注意力机制的效率如何？
• RQ3 查询扩展和中心性抑制在提升最近邻检索性能方面发挥什么作用？
• RQ4 在多个数据集上进行多任务学习在多大程度上能提升视频检索的泛化能力？
• RQ5 不同的特征聚合策略（平均、最大池化、固定片段）对检索性能有何影响？

主要发现

• 排名第一的团队MMT（INRIA和Google）通过使用多模态变换器、16个模型的集成以及语言和视频嵌入的联合优化，取得了最佳结果。
• 第二名团队cszhe（中国人民大学）表明，分层图推理和反向Softmax在细粒度视频-文本匹配中提升了检索准确性。
• 第三名团队LEgGOdt（新华智云）通过混合序列编码器和协同专家方法，在多模态共享空间学习中实现了强劲性能。
• 第四名团队haoxiaoshuai（中国科学院）提出了一种双向难负样本排序损失，通过聚焦于最难的负样本，优于标准排序损失。
• 对多个模型进行集成显著提升了所有数据集上的性能，证实了在检索任务中模型多样性的重要性。
• 专家驱动方法即使在无需端到端训练的情况下也能实现强大性能，验证了其在视频理解中的实用性和有效性。