[论文解读] Marine Video Kit: A New Marine Video Dataset for Content-based Analysis and Retrieval

Quang-Trung Truong, Tuan-Anh Vu+5 more|arXiv (Cornell University)|Sep 23, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

本文介绍了Marine Video Kit，这是一个包含来自全球36个地点的1,300多个水下视频的新数据集，旨在挑战基于内容的视频检索与分析。通过使用CLIP嵌入和语义字幕，研究发现即使是最先进的模型在检索方面仍表现不佳，原因在于视觉多样性低且词汇量有限，凸显了在海洋视频分析中开发领域特定解决方案的必要性。

ABSTRACT

Effective analysis of unusual domain specific video collections represents an important practical problem, where state-of-the-art general purpose models still face limitations. Hence, it is desirable to design benchmark datasets that challenge novel powerful models for specific domains with additional constraints. It is important to remember that domain specific data may be noisier (e.g., endoscopic or underwater videos) and often require more experienced users for effective search. In this paper, we focus on single-shot videos taken from moving cameras in underwater environments, which constitute a nontrivial challenge for research purposes. The first shard of a new Marine Video Kit dataset is presented to serve for video retrieval and other computer vision challenges. Our dataset is used in a special session during Video Browser Showdown 2023. In addition to basic meta-data statistics, we present several insights based on low-level features as well as semantic annotations of selected keyframes. The analysis also contains experiments showing limitations of respected general purpose models for retrieval. Our dataset and code are publicly available at https://hkust-vgd.github.io/marinevideokit.

研究动机与目标

• 为解决水下视频检索领域缺乏专门的基准数据集的问题，这些数据集常被忽视，而更倾向于使用通用视频集合。
• 提供一个可复现、公开可用的数据集，包含精心整理的元数据、字幕和嵌入，以支持海洋视频分析领域的研究。
• 评估通用模型（如CLIP）在特定领域、低能见度水下视频检索中的局限性。
• 使用人类和模型生成的查询，建立已知项目搜索（KIS）在海洋视频中的基线性能。
• 为未来扩展提供基础，包括目标检测、分割和运动分析的标注。

提出的方法

• 该数据集包含从全球36个海洋地点收集的1,300多个单帧水下视频，附带时间与地理元数据。
• 以1 fps的频率从选定的关键帧（约40,000帧）中提取，并使用基于CLIP的嵌入和ClipCap生成的字幕进行标注。
• 通过100名新手、100名VBS专家以及4,000个ClipCap生成的文本查询，开展了已知项目搜索（KIS）实验，以评估检索性能。
• 通过查询帧与目标帧嵌入之间的余弦相似度来衡量检索性能，并分析不同查询类型下的排名分布。
• 计算低层次颜色描述符，以分析帧间视觉多样性和内容相似性。
• 实验比较了不同查询类型（新手、专家、ClipCap）下的检索准确率，以评估模型与人类查询的有效性。

实验结果

研究问题

• RQ1 通用跨模态模型（如CLIP）在从高度专业化的水下视频数据集中检索目标帧方面有多高效？
• RQ2 ClipCap生成字幕的语义相似性和有限词汇量在海洋视频检索中的表现受到多大程度的影响？
• RQ3 人类查询表述——尤其是领域专家与新手之间——在海洋视频内容检索中的有效性如何比较？
• RQ4 水下视频内容的视觉相似性以及低多样性对基于内容检索难度有何影响？
• RQ5 Marine Video Kit能否作为未来海洋视频分析与检索研究的可靠基准？

主要发现

• 在4,000个基于ClipCap的查询中，仅有30%能在前2,000名结果中成功检索到目标帧，表明即使使用强大的CLIP模型，检索难度依然显著。
• ClipCap生成查询的中位排名劣于专家人类查询，专家在KIS实验中实现了更好的平均排名和中位排名。
• 新手用户查询的表现与ClipCap生成的描述相似，表明非专家的文本描述在效果上并不显著优于自动字幕生成。
• 当在前500名结果中搜索时，仅有6.6%的目标图像能在前100名内被检索到，凸显了在视觉相似、低变异性海洋视频内容中检索的挑战。
• 该数据集的视觉特征——低能见度、模糊画面以及高背景杂乱度——导致通用模型即使使用CLIP嵌入也表现欠佳。
• 本研究证实，海洋视频中的基于内容检索并非易事，必须超越通用视觉-语言模型，发展领域特定的模型。