[論文レビュー] End-to-End Video Text Spotting with Transformer

Weijia Wu, Yuanqiang Cai+5 more|arXiv (Cornell University)|Mar 20, 2022

Handwritten Text Recognition Techniques被引用数 6

ひとこと要約

本稿では、変換器アーキテクチャに基づく新規エンドツーエンド型ビデオテキストスポットリングフレームワーク、TransDETRを提案する。この手法は、学習可能な「テキストクエリ」を用いて長距離時系列依存関係をモデル化することで、検出、トラッキング、認識を統合的に実行する。NMS やマッチングヒューリスティクスといった手作業で設計されたコンponentを排除し、ビデオテキストスポットリングで最高性能を達成しており、ID-F1 で最大11.3%の向上、トラッキングで7.6%の向上を達成している。

ABSTRACT

Recent video text spotting methods usually require the three-staged pipeline, i.e., detecting text in individual images, recognizing localized text, tracking text streams with post-processing to generate final results. These methods typically follow the tracking-by-match paradigm and develop sophisticated pipelines. In this paper, rooted in Transformer sequence modeling, we propose a simple, but effective end-to-end video text DEtection, Tracking, and Recognition framework (TransDETR). TransDETR mainly includes two advantages: 1) Different from the explicit match paradigm in the adjacent frame, TransDETR tracks and recognizes each text implicitly by the different query termed text query over long-range temporal sequence (more than 7 frames). 2) TransDETR is the first end-to-end trainable video text spotting framework, which simultaneously addresses the three sub-tasks (e.g., text detection, tracking, recognition). Extensive experiments in four video text datasets (i.e.,ICDAR2013 Video, ICDAR2015 Video, Minetto, and YouTube Video Text) are conducted to demonstrate that TransDETR achieves state-of-the-art performance with up to around 8.0% improvements on video text spotting tasks. The code of TransDETR can be found at https://github.com/weijiawu/TransDETR.

研究の動機と目的

• 隣接フレーム間の複雑で微分不可能なマッチングヒューリスティクスに依存する、従来の3段階型ビデオテキストスポットリングパイプラインの限界を解消すること。
• 検出、トラッキング、認識を1つのシーケンスモデリングタスクに統合することで、ビデオテキストスポットリングのエンドツーエンド学習を可能にすること。
• 動きぼけや隠蔽が生じる状況でも、特に長距離時系列モデリングを向上させ、トラッキングと認識の性能を向上させること。
• NMS やIoUマッチング、特徴ベースのRe-IDといった微分不可能なコンponentに依存しないこと。
• 単一で統一されたアーキテクチャを維持しつつ、従来の手法よりも高い精度と高速な推論を達成すること。

提案手法

• 各テキストインスタンスの長期間にわたる軌跡とコンテンツを暗黙的にモデル化するために、学習可能な「テキストクエリ」を用いた変換器ベースのエンコーダデコーダを採用する。
• 各テキストクエリは、時間経過に伴う1つのテキストインスタンスの空間的なバウンディングボックス、トラッキングID、認識されたテキストコンテンツを予測する。
• 予測のフレーム間一貫性を強制するため、新しい時系列トラッキング損失を導入し、トラッキングと認識の共同最適化を可能にする。
• 認識ヘッドは回転させたRoIを採用し、任意の方向を向いたテキストに対応する。これにより、検出・トラッキングとエンドツーエンドで学習可能となる。
• モデルはビデオクリップを入力とし、後処理やマッチングステップを経ずに、直接検出・トラッキング・認識の結果のシーケンスを出力する。
• アンカージェネレーターやNMS、IoUベースのマッチングといった従来のコンponentを回避し、単一のアテンションメカニズムに依存したシーケンスモデリングに特化する。

Figure 1 : Comparisons of different video text spotting pipeline . (a) Wang et al. [ 43 ] tracks and recognizes text by transcription matching; (b-c) Cheng et al. [ 3 , 4 ] tracks and recognizes text with metric learning; (d) Wu et al. [ 47 ] adopts IoU-based match to address the task; (e) Without c

実験結果

リサーチクエスチョン

• RQ1 変換器に基づく統一的でエンドツーエンドで学習可能なフレームワークは、フレーム間の明示的マッチングを一切行わずに、効果的にビデオテキスト検出・トラッキング・認識を実行できるか？
• RQ2 テキストクエリによる長距離時系列モデリングは、隣接フレーム間マッチングと比較して、トラッキングのロバスト性と精度にどの程度優れているか？
• RQ3 NMS やIoUマッチングといった手作業で設計されたコンponentを排除することで、性能と推論速度にどの程度の向上が得られるか？
• RQ4 本手法は、ビデオ品質やテキスト外観が異なる多様なビデオテキストデータセットに一般化できるか？
• RQ5 マルチステージでエンドツーエンドでないベースラインと比較して、本手法は高い精度を維持しながら、より高速な推論を達成できるか？

主な発見

• ICDAR2015（ビデオ）トラッキングベンチマークにおいて、ID-F1 で7.6%の絶対的向上を達成し、以前のSOTA手法を上回った。
• ビデオテキストスポットリングタスクにおいて、現在のSOTA手法と比較してID-F1が11.3%向上し、MOTA で7.7%の向上を達成した。
• 可視化結果から、誤検出（FN）を最大15.0%まで削減し、IDスイッチングやオブジェクトロスの著しい緩和が確認された。
• 推論速度は16.7 FPSを達成し、SOTA手法（9.0 FPS）よりも高速でありながら、高い精度を維持した。
• ICDAR2013（ビデオ）において、YOROと比較してMOTAが7.4%、ID-F1が4.7%向上したが、推論速度は高速であった。
• YVTおよびMinettoデータセットに対しても、微調整なしで一般化が良好であり、それぞれMOTAで1.7%および2.4%の向上を達成した。

Figure 2 : The overall architecture of Trans DeTR . It contains three main components: 1). a backbone( e.g., ResNet, PVT [ 40 ] ) is used to extract feature of video sequences; 2) a Transformer encoder models the relations of features, and a weight-shared decoder models each text move trajectory by