[論文レビュー] A Bilingual, OpenWorld Video Text Dataset and End-to-end Video Text Spotter with Transformer

Weijia Wu, Yuanqiang Cai+6 more|arXiv (Cornell University)|Dec 9, 2021

Video Analysis and Summarization被引用数 11

ひとこと要約

本稿では、2,000本以上の動画と175万フレーム以上のフレームを含む大規模で二か国語対応のオープンワールド動画テキストデータセットBOVTextを紹介する。このデータセットは多様なシナリオと多言語対応のアノテーションをサポートする。また、回転に注意を払ったトラッキングを備えたTransformerベースのアテンション機構を用いたエンドツーエンドの動画テキストスポットティングフレームワーク、TransVTSpotterを提案し、ICDAR2015(video)で44.1%のMOTAを達成し、新たな最先端性能を実現した。

ABSTRACT

Most existing video text spotting benchmarks focus on evaluating a single language and scenario with limited data. In this work, we introduce a large-scale, Bilingual, Open World Video text benchmark dataset(BOVText). There are four features for BOVText. Firstly, we provide 2,000+ videos with more than 1,750,000+ frames, 25 times larger than the existing largest dataset with incidental text in videos. Secondly, our dataset covers 30+ open categories with a wide selection of various scenarios, e.g., Life Vlog, Driving, Movie, etc. Thirdly, abundant text types annotation (i.e., title, caption or scene text) are provided for the different representational meanings in video. Fourthly, the BOVText provides bilingual text annotation to promote multiple cultures live and communication. Besides, we propose an end-to-end video text spotting framework with Transformer, termed TransVTSpotter, which solves the multi-orient text spotting in video with a simple, but efficient attention-based query-key mechanism. It applies object features from the previous frame as a tracking query for the current frame and introduces a rotation angle prediction to fit the multiorient text instance. On ICDAR2015(video), TransVTSpotter achieves the state-of-the-art performance with 44.1% MOTA, 9 fps. The dataset and code of TransVTSpotter can be found at github:com=weijiawu=BOVText and github:com=weijiawu=TransVTSpotter, respectively.

研究の動機と目的

• 現実的な動画テキストスポットティングの評価に適した大規模で多様性に富み、多言語対応の動画テキストデータセットの不足を解消すること。
• 従来のベンチマークが単一言語、限定されたシナリオ、小規模データに限定されているという制限を克服すること。
• 動画内における多方向テキストのトラッキングと認識を向上させたエンドツーエンドの動画テキストスポットティングを実現すること。
• 豊富なテキストタイプのアノテーションにより、動画理解、自動翻訳、動画検索などの幅広い応用を支援すること。
• 動画テキストスポットティングおよび関連する動画・言語タスクの研究を前進させるために、データセットとコードをオープンソースで提供すること。

提案手法

• BOVTextは、1,494本のKuaiShou動画と356本のYouTube動画から構築され、ライフブロガー、ゲーム、スポーツ中継、ドライブなど30以上のオープンワールドシナリオをカバーしている。
• データセットには、タイトル、キャプション、シーンテキストの3種類のテキストタイプについて中国語と英語の二か国語アノテーションが含まれており、文化的な理解の向上と多言語対応の応用を可能にしている。
• TransVTSpotterは、前フレームのオブジェクト特徴をトラッキングクエリとして使用するアテンションベースのクエリ・キー機構を備えたTransformerベースの検出ヘッドを採用している。
• 多方向テキストインスタンスの処理を可能にする回転角度予測ヘッドを統合し、動画シーケンスにおける検出のロバスト性を向上させた。
• NMSのような後処理ステップを必要とせず、フレーム全体にわたってテキストを一括して検出・認識・トラッキングするエンドツーエンドの動画テキストスポットティングを実現している。
• モデルはICDAR2015(video)で訓練・評価され、9 fpsの推論速度を達成しており、効率性とスケーラビリティを示している。

Figure 1: Comparison of dataset distribution and pipeline . (a) Data distribution. BOVText provides various open world scenarios with unique NBA, Game, etc. (b) Pipelines: (I) Multi-stage pipeline in [ 65 ] , [ 16 ] , [ 68 ] etc ; (II) Multi-orient video text spotting pipeline with Faster R-CNN [ 42

実験結果

リサーチクエスチョン

• RQ1 大規模でオープンワールド型、二か国語対応の動画テキストデータセットは、多様な現実世界のシナリオにおいて動画テキストスポットティングモデルの汎化性能とロバスト性を向上させることができるか？
• RQ2 アテンションベースのトラッキングと回転に注意を払った検出を備えたTransformerベースのエンドツーエンドフレームワークは、動画内での多方向テキストスポットティングにどの程度効果的か？
• RQ3 豊富なテキストタイプのアノテーション（タイトル、キャプション、シーンテキスト）は、動画理解や検索などの下流タスクにどの程度寄与するか？
• RQ4 提案されたデータセットとモデルは、多言語動画翻訳や意味的動画検索といった実用的応用を支援できるか？
• RQ5 精度、速度、エンドツーエンドの単純さという観点から、従来のマルチステージまたはツオステージパイプラインと比較して、本手法はどの程度優れているか？

主な発見

• BOVTextは2,000本以上の動画にわたり175万フレーム以上を含み、以前の最大の動画テキストデータセットの25倍以上にのぼる。
• データセットはNBA中継、ゲームストリーミング、ライフブロガーなど、従来は未対応だった分野も含む30以上のオープンワールドシナリオをカバーしている。
• TransVTSpotterはICDAR2015(video)ベンチマークで44.1%のMOTAという新たな最先端性能を達成し、優れた性能を示した。
• モデルは9 fpsで動作し、リアルタイム応用に適した高い推論効率性を示している。
• 二か国語アノテーションと複数のテキストタイプ（タイトル、キャプション、シーンテキスト）のラベル付けにより、動画と言語のタスク（例：動画説明、検索）における可能性が顕著に向上した。
• CC-BY 4.0ライセンスの下でデータセットとコードをオープンソースで公開したことで、再現性のある研究が可能となり、動画テキストスポットティング分野におけるコミュニティの発展が促進された。

Figure 2: Distributions of BOVText . (a) The benchmark dataset covers a wide and open range of life scenes (32 open-domain categories). (b) Caption text (blue box) and scene text (red box) are distinguished in BOVText, which is favorable for downstream tasks.