[论文解读] A Bilingual, OpenWorld Video Text Dataset and End-to-end Video Text Spotter with Transformer

Weijia Wu, Yuanqiang Cai+6 more|arXiv (Cornell University)|Dec 9, 2021

Video Analysis and Summarization被引用 11

一句话总结

本文提出了 BOVText，一个大规模、双语、开放世界视频文本数据集，包含 2,000 多个视频和 175 万个以上帧，支持多样化场景和多语言注释。本文还提出了 TransVTSpotter，一种基于 Transformer 注意力机制与旋转感知跟踪的端到端视频文本检测框架，在 ICDAR2015(video) 上实现了 44.1% 的 MOTA，创下新的最先进性能记录。

ABSTRACT

Most existing video text spotting benchmarks focus on evaluating a single language and scenario with limited data. In this work, we introduce a large-scale, Bilingual, Open World Video text benchmark dataset(BOVText). There are four features for BOVText. Firstly, we provide 2,000+ videos with more than 1,750,000+ frames, 25 times larger than the existing largest dataset with incidental text in videos. Secondly, our dataset covers 30+ open categories with a wide selection of various scenarios, e.g., Life Vlog, Driving, Movie, etc. Thirdly, abundant text types annotation (i.e., title, caption or scene text) are provided for the different representational meanings in video. Fourthly, the BOVText provides bilingual text annotation to promote multiple cultures live and communication. Besides, we propose an end-to-end video text spotting framework with Transformer, termed TransVTSpotter, which solves the multi-orient text spotting in video with a simple, but efficient attention-based query-key mechanism. It applies object features from the previous frame as a tracking query for the current frame and introduces a rotation angle prediction to fit the multiorient text instance. On ICDAR2015(video), TransVTSpotter achieves the state-of-the-art performance with 44.1% MOTA, 9 fps. The dataset and code of TransVTSpotter can be found at github:com=weijiawu=BOVText and github:com=weijiawu=TransVTSpotter, respectively.

研究动机与目标

• 为解决真实世界视频文本检测评估中缺乏大规模、多样化和多语言视频文本数据集的问题。
• 克服现有基准的局限性，这些基准受限于单一语言、有限场景和小规模数据。
• 通过改进视频中多方向文本的跟踪与识别能力，实现端到端的视频文本检测。
• 通过丰富的文本类型注释，支持更广泛的应用，如视频理解、自动翻译和视频检索。
• 提供开源资源（数据集和代码），以推动视频文本检测及相关视频-语言任务的研究发展。

提出的方法

• BOVText 由 1,494 个快手视频和 356 个 YouTube 视频构建而成，涵盖 30 多个开放世界场景，包括生活 Vlog、游戏、体育播报和驾驶等。
• 数据集包含中英文双语注释，针对三种文本类型：标题、字幕和场景文本，支持跨文化理解与多语言应用。
• TransVTSpotter 采用基于 Transformer 的检测头，其基于注意力的查询-键机制利用前一帧的物体特征作为跟踪查询。
• 集成旋转角度预测头以处理多方向文本实例，提升视频序列中检测的鲁棒性。
• 该框架通过联合检测、识别和跟踪文本实现端到端的视频文本检测，无需 NMS 等后处理步骤。
• 模型在 ICDAR2015(video) 上进行训练与评估，推理速度达 9 fps，展现出良好的效率与可扩展性。

Figure 1: Comparison of dataset distribution and pipeline . (a) Data distribution. BOVText provides various open world scenarios with unique NBA, Game, etc. (b) Pipelines: (I) Multi-stage pipeline in [ 65 ] , [ 16 ] , [ 68 ] etc ; (II) Multi-orient video text spotting pipeline with Faster R-CNN [ 42

实验结果

研究问题

• RQ1 一个大规模、开放世界、双语的视频文本数据集能否提升视频文本检测模型在多样化真实场景下的泛化能力与鲁棒性？
• RQ2 基于 Transformer 的端到端框架，结合基于注意力的跟踪与旋转感知检测，在视频中多方向文本检测方面效果如何？
• RQ3 丰富的文本类型注释（标题、字幕、场景文本）在多大程度上能提升视频理解与检索等下游任务的性能？
• RQ4 所提出的数据集与模型能否支持多语言视频翻译与语义视频检索等实际应用？
• RQ5 与现有两阶段或多阶段流水线相比，所提出方法在准确率、速度与端到端简洁性方面表现如何？

主要发现

• BOVText 包含超过 175 万个帧，覆盖 2,000 多个视频，规模是此前最大视频文本数据集的 25 倍。
• 该数据集支持 30 多个开放世界场景，包括此前代表性不足的领域，如 NBA 播报、游戏直播和生活 Vlog。
• TransVTSpotter 在 ICDAR2015(video) 基准上实现了 44.1% 的新最先进 MOTA，表现卓越。
• 模型推理速度达 9 fps，表明其具备强大的推理效率，适用于实时应用。
• 双语注释与多类型文本标注（标题、字幕、场景文本）显著提升了视频-语言任务（如视频描述与检索）的潜力。
• 数据集与代码以 CC-BY 4.0 许可证开源，支持可复现研究，并推动视频文本检测领域的社区发展。

Figure 2: Distributions of BOVText . (a) The benchmark dataset covers a wide and open range of life scenes (32 open-domain categories). (b) Caption text (blue box) and scene text (red box) are distinguished in BOVText, which is favorable for downstream tasks.