[论文解读] Bridging Vision and Language from the Video-to-Text Perspective: A Comprehensive Review.

Jesus Perez-Martin, Benjamín Bustos+4 more|arXiv (Cornell University)|Mar 27, 2021

Multimodal Machine Learning Applications参考文献 20被引用 5

一句话总结

本文对视觉语言研究中的视频到文本方法进行了全面综述，涵盖检索与生成任务。它分析了最先进技术、基准数据集、评估协议以及持续存在的挑战，结论指出由于时空复杂性与数据集局限性，当前模型仍无法达到人类水平性能。

ABSTRACT

Research in the area of Vision and Language encompasses challenging topics that seek to connect visual and textual information. The video-to-text problem is one of these topics, in which the goal is to connect an input video with its textual description. This connection can be mainly made by retrieving the most significant descriptions from a corpus or generating a new one given a context video. These two ways represent essential tasks for Computer Vision and Natural Language Processing communities, called text retrieval from video task and video captioning/description task. These two tasks are substantially more complex than predicting or retrieving a single sentence from an image. The spatiotemporal information present in videos introduces diversity and complexity regarding the visual content and the structure of associated language descriptions. This review categorizes and describes the state-of-the-art techniques for the video-to-text problem. It covers the main video-to-text methods and the ways to evaluate their performance. We analyze how the most reported benchmark datasets have been created, showing their drawbacks and strengths for the problem requirements. We also show the impressive progress that researchers have made on each dataset, and we analyze why, despite this progress, the video-to-text conversion is still unsolved. State-of-the-art techniques are still a long way from achieving human-like performance in generating or retrieving video descriptions. We cover several significant challenges in the field and discuss future research directions.

研究动机与目标

• 系统性地对视频到文本生成与检索的最先进技术进行分类与分析。
• 评估视频到文本研究中主要基准数据集的优势与局限性。
• 识别阻碍视频字幕生成与描述检索向人类水平性能发展的持续性挑战。
• 对当前评估协议进行批判性评估，并检验其与实际需求的契合度。
• 提出推动视频到文本理解与生成进一步发展的未来研究方向。

提出的方法

• 本文对视频到文本方法进行了全面调查，重点关注检索与生成任务。
• 采用标准指标（如 BLEU、ROUGE 和 CIDEr）在广泛使用的基准数据集上评估性能。
• 综述分析了数据集构建方法，包括数据收集、标注流程以及时间定位。
• 对比了模型架构，包括注意力机制、基于 Transformer 的模型以及多模态编码器。
• 研究了时空建模如何被整合进视频字幕生成与检索系统中。
• 探讨了预训练与微调策略在提升零样本与少样本泛化能力中的作用。

实验结果

研究问题

• RQ1 从视频中生成或检索准确文本描述的关键技术挑战是什么？
• RQ2 当前基准数据集在支持或限制鲁棒视频到文本模型发展方面发挥怎样的作用？
• RQ3 为何最先进模型在视频字幕生成与检索任务中仍无法达到人类水平性能？
• RQ4 评估视频到文本性能最有效的指标是什么？它们与人类判断的契合度如何？
• RQ5 未来哪些研究方向最有可能缩小模型与人类性能之间的差距？

主要发现

• 尽管取得了显著进展，但最先进模型在视频字幕生成与描述检索方面仍无法达到人类水平性能。
• 视频中复杂的时空内容引入了图像字幕中不存在的重大挑战。
• 现有基准数据集存在显著缺陷，包括标注偏差、时间多样性有限以及视觉概念分布不均。
• BLEU 和 ROUGE 等评估指标往往与人类对语言质量与事实准确性的判断相关性较差。
• 当前模型在长距离依赖关系与细粒度视觉推理方面表现不佳，尤其在复杂或动态场景中。
• 缺乏标准化的评估协议与多样化测试集，阻碍了可靠模型比较与泛化能力评估。