[论文解读] End-to-End Video Text Spotting with Transformer

Weijia Wu, Yuanqiang Cai+5 more|arXiv (Cornell University)|Mar 20, 2022

Handwritten Text Recognition Techniques被引用 6

一句话总结

该论文提出 TransDETR，一种基于 Transformer 架构的新型端到端视频文本定位框架，通过可学习的“文本查询”建模长时序依赖关系，联合执行检测、跟踪与识别。该方法在视频文本定位任务中实现最先进性能，ID-F1 指标最高提升 11.3%，在跟踪任务中提升 7.6%，同时消除了 NMS 和匹配启发式规则等手工设计组件。

ABSTRACT

Recent video text spotting methods usually require the three-staged pipeline, i.e., detecting text in individual images, recognizing localized text, tracking text streams with post-processing to generate final results. These methods typically follow the tracking-by-match paradigm and develop sophisticated pipelines. In this paper, rooted in Transformer sequence modeling, we propose a simple, but effective end-to-end video text DEtection, Tracking, and Recognition framework (TransDETR). TransDETR mainly includes two advantages: 1) Different from the explicit match paradigm in the adjacent frame, TransDETR tracks and recognizes each text implicitly by the different query termed text query over long-range temporal sequence (more than 7 frames). 2) TransDETR is the first end-to-end trainable video text spotting framework, which simultaneously addresses the three sub-tasks (e.g., text detection, tracking, recognition). Extensive experiments in four video text datasets (i.e.,ICDAR2013 Video, ICDAR2015 Video, Minetto, and YouTube Video Text) are conducted to demonstrate that TransDETR achieves state-of-the-art performance with up to around 8.0% improvements on video text spotting tasks. The code of TransDETR can be found at https://github.com/weijiawu/TransDETR.

研究动机与目标

• 解决现有三阶段视频文本定位流水线依赖于复杂且不可微分的相邻帧间匹配启发式规则的局限性。
• 通过将检测、跟踪与识别统一为单一序列建模任务，实现视频文本定位的端到端训练。
• 提升长时序建模能力，以增强在运动模糊和遮挡情况下的文本跟踪与识别性能。
• 消除对不可微分组件（如 NMS、IoU 匹配和基于特征的 Re-ID）的依赖。
• 在保持简单统一架构的同时，实现比以往方法更高的准确率和更快的推理速度。

提出的方法

• 该框架采用基于 Transformer 的编码器-解码器结构，利用可学习的“文本查询”隐式建模每个文本实例在长视频序列中的完整轨迹与内容。
• 每个文本查询负责预测单个文本实例在时间序列上的空间边界框、跟踪 ID 和识别出的文本内容。
• 引入一种新颖的时序跟踪损失，以强制跨帧预测的一致性，实现跟踪与识别的联合优化。
• 识别头采用旋转 RoI 以处理任意方向的文本，支持检测与跟踪的端到端训练。
• 模型以视频片段作为输入，直接输出检测、跟踪与识别结果序列，无需后处理或匹配步骤。
• 该架构避免使用传统的组件（如锚点生成、NMS 和基于 IoU 的匹配），完全依赖注意力机制进行序列建模。

Figure 1 : Comparisons of different video text spotting pipeline . (a) Wang et al. [ 43 ] tracks and recognizes text by transcription matching; (b-c) Cheng et al. [ 3 , 4 ] tracks and recognizes text with metric learning; (d) Wu et al. [ 47 ] adopts IoU-based match to address the task; (e) Without c

实验结果

研究问题

• RQ1 基于 Transformer 的统一端到端可训练框架是否能有效实现无需帧间显式匹配的联合视频文本检测、跟踪与识别？
• RQ2 通过文本查询实现的长时序建模在跟踪鲁棒性与准确性方面，相较于相邻帧匹配方法表现如何？
• RQ3 消除 NMS 和 IoU 匹配等手工设计组件在多大程度上能提升性能与推理速度？
• RQ4 所提出方法在具有不同视频质量与文本外观的多样化视频文本数据集上是否具备良好的泛化能力？
• RQ5 该模型是否能在保持高准确率的同时，实现比多阶段非端到端基线方法更快的推理速度？

主要发现

• 在 ICDAR2015（视频）跟踪基准上，TransDETR 实现了 7.6% 的 ID-F1 绝对提升，优于之前的最先进方法。
• 在视频文本定位任务中，TransDETR 相较当前最先进方法实现 11.3% 的 ID-F1 提升，MOTA 提升 7.7%。
• 模型将误检数减少高达 15.0%，并显著缓解了跟踪过程中的 ID 切换与目标丢失问题，可视化结果已验证此效果。
• TransDETR 实现 16.7 FPS 的推理速度，尽管准确率更高，仍快于最先进方法（9.0 FPS）。
• 在 ICDAR2013（视频）上，TransDETR 相较 YORO 模型实现 MOTA 提升 7.4%、ID-F1 提升 4.7%，同时保持更快的推理速度。
• 该模型在 YVT 和 Minetto 数据集上也表现出良好泛化能力，无需微调即分别实现 1.7% 和 2.4% 的 MOTA 提升。

Figure 2 : The overall architecture of Trans DeTR . It contains three main components: 1). a backbone( e.g., ResNet, PVT [ 40 ] ) is used to extract feature of video sequences; 2) a Transformer encoder models the relations of features, and a weight-shared decoder models each text move trajectory by