[論文レビュー] You Only Recognize Once: Towards Fast Video Text Spotting

Zhanzhan Cheng, Jing Lu+4 more|arXiv (Cornell University)|Mar 8, 2019

Handwritten Text Recognition Techniques参考文献 64被引用数 6

ひとこと要約

本稿では、フレーム単位の認識を、テキストストリームごとに1回の認識に置き換えることで、新しいテキストレコメンダーを用いて高速かつ安定した動画テキストスポットフレームワークYOROを提案する。この手法は、時間的空間的検出器を用いてフレーム間のテキストを局所化し、エンド・ツー・エンドで学習可能なレコメンダーが認識に最も適したテキストを選択する。その結果、ベンチマークで71倍の高速化と最先端の性能を達成するとともに、低品質なテキストからの干渉を低減する。

ABSTRACT

Video text spotting is still an important research topic due to its various real-applications. Previous approaches usually fall into the four-staged pipeline: text detection in individual images, framewisely recognizing localized text regions, tracking text streams and generating final results with complicated post-processing skills, which might suffer from the huge computational cost as well as the interferences of low-quality text. In this paper, we propose a fast and robust video text spotting framework by only recognizing the localized text one-time instead of frame-wisely recognition. Specifically, we first obtain text regions in videos with a well-designed spatial-temporal detector. Then we concentrate on developing a novel text recommender for selecting the highest-quality text from text streams and only recognizing the selected ones. Here, the recommender assembles text tracking, quality scoring and recognition into an end-to-end trainable module, which not only avoids the interferences from low-quality text but also dramatically speeds up the video text spotting process. In addition, we collect a larger scale video text dataset (LSVTD) for promoting the video text spotting community, which contains 100 text videos from 22 different real-life scenarios. Extensive experiments on two public benchmarks show that our method greatly speeds up the recognition process averagely by 71 times compared with the frame-wise manner, and also achieves the remarkable state-of-the-art.

研究の動機と目的

• 低品質なテキスト領域によるフレーム単位の動画テキスト認識の高コストかつ不安定さを解消すること。
• トラッキングされた各テキストストリームから、すべてのフレームではなく最高品質のテキストのみを認識することで、認識のオーバーヘッドを低減すること。
• トラッキング、品質スコアリング、認識を統合したエンド・ツー・エンドで学習可能なモジュールを導入することで、耐性と効率性を向上させること。
• 22の実世界シナリオからなる100本の動画を含む大規模データセット（LSVTD）を公開することで、動画テキストスポット研究を促進すること。

提案手法

• 時間的関係を活用して連続フレーム間のテキスト認識を向上させるため、時間的空間的動画テキスト検出器を設計した。
• エンド・ツー・エンドで学習可能なモジュールとして、テキストトラッキング、品質スコアリング、認識を統合したテキストレコメンダーを導入した。
• ぼやけたり歪んでもらったりした領域よりも、明瞭で水平的かつ安定したテキスト領域を優先するように、弱教師あり学習で品質スコアリングを学習した。
• 各トラッキング済みストリームから認識に最も適した最高品質のテキスト領域のみを選択することで、認識処理の回数を著しく削減した。
• フレーム単位の認識を回避し、テキストストリームごとに1回の認識に集中することで、推論時間を顕著に短縮した。
• ベンチマークの支援を目的として、22の多様な実世界シナリオからなる100本の動画を含む新規の大規模動画テキストデータセットLSVTDを収集した。

実験結果

リサーチクエスチョン

• RQ1 テキストストリームごとに1回の認識で、フレーム単位の認識と同等またはそれ以上の正確性を達成しながら、計算コストを著しく削減できるか？
• RQ2 トラッキング、品質スコアリング、認識を効果的に統合したエンド・ツー・エンドで学習可能なモジュールを構築することで、耐性と効率性が向上するか？
• RQ3 弱教師あり学習による品質スコアリング機構が、低品質なテキストを効果的にフィルタリングし、認識性能を向上させる影響は何か？
• RQ4 時間的空間的検出器は、フレーム単位の検出と比較して、テキスト局所化と再現率をどのように向上させるか？
• RQ5 IC13およびIC15のような大規模ベンチマークにおいて、提案フレームワークは既存手法をどの程度上回るか？

主な発見

• 提案されたYOROフレームワークは、フレーム単位の認識と比較して、認識処理で平均71倍の高速化を達成しながらも、高い正確性を維持した。
• IC15ベンチマークでは、認識MOTAが0.69、ATAが0.63を達成し、先行する最先端手法を上回った。
• テキストレコメンダー・モジュールにより、ぼやけたものや歪んだもの、照明が悪い領域からの干渉を低減し、認識の耐性が向上した。
• 時間的空間的検出器は、フレームベース検出と比較して、再現率を4%、F-measureを1.3%向上させたが、精度は4.3%低下した。
• 100本の動画を含むLSVTDデータセットは、都市の道路や監視カメラのような屋外および動的シーンが、運動ぼやけや複雑な背景のため依然として困難であることを示した。
• 本フレームワークは、書店や地下鉄駅のような屋内シナリオで最も優れた性能を発揮したが、列車の観察や都市道路のような屋外および高運動シーンでは依然として困難であった。