[論文レビュー] Scene Text Detection and Recognition: The Deep Learning Era

Shangbang Long, Xin He+1 more|arXiv (Cornell University)|Nov 10, 2018

Handwritten Text Recognition Techniques参考文献 191被引用数 109

ひとこと要約

この調査は、深層学習がシーン文字検出と認識をどのように変革したかを総合し、方法、データセット、ベンチマーク、今後の動向の分類を提示する。

ABSTRACT

With the rise and development of deep learning, computer vision has been tremendously transformed and reshaped. As an important research area in computer vision, scene text detection and recognition has been inescapably influenced by this wave of revolution, consequentially entering the era of deep learning. In recent years, the community has witnessed substantial advancements in mindset, approach and performance. This survey is aimed at summarizing and analyzing the major changes and significant progresses of scene text detection and recognition in the deep learning era. Through this article, we devote to: (1) introduce new insights and ideas; (2) highlight recent techniques and benchmarks; (3) look ahead into future trends. Specifically, we will emphasize the dramatic differences brought by deep learning and the grand challenges still remained. We expect that this review paper would serve as a reference book for researchers in this field. Related resources are also collected and compiled in our Github repository: https://github.com/Jyouhou/SceneTextPapers.

研究の動機と目的

• 深層学習によってもたらされたシーン文字検出と認識の主要な変化と進展を要約する。
• この分野で用いられるデータセット、ベンチマーク、評価プロトコルを検証する。
• シーン文字理解の現状、課題、および潜在的な将来動向を分析する。
• 統合された概要とリポジトリを通じて、研究者への洞察と参照リソースを提供する。

提案手法

• 手法を四つのカテゴリに分類する：文字検出、文字認識、エンドツーエンドシステム、および補助的手法。
• 検出手法の進化を、多段階パイプラインからワンステージおよびポリゴンベースの表現へ説明する。
• CTCおよびエンコーダ–デコーダーに基づく認識フレームワークと、整正を含む不規則な文字への適用を説明する。
• 学習を強化するための合成データ生成やデザット間評価などの補助技術について論じる。
• データセットと評価プロトコルを要約し、将来の研究方向について展望を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層学習はシーン文字検出と認識の方法論と性能をどのように変えたのか？
• RQ2 野外の文字を検出・認識するために主要なアーキテクチャと表現は何か？
• RQ3 現在の手法は、 不規則・曲線・多方向の文本と直線テキストをどのように扱うか？
• RQ4 この分野の進展を支えるデータセット、ベンチマーク、補助データは何か、それらの限界は何か？
• RQ5 シーン文字検出と認識の主要な未解決課題と今後の動向は何か？

主な発見

• 深層学習は、エンドツーエンドで学習可能なパイプラインを実現し、手工特徴量への依存を減らすことで分野を変革した。
• 検出手法は、多段階で文字中心のパイプラインから、単一段の検出器および不規則な文字のポリゴン/セグメンテーション表現へと進化した。
• 認識手法は主にCTCまたはエンコーダ–デコーダー系に依存し、曲がり・不規則な文本を扱う整正技術を伴う。
• 補助技術、特に合成データとデータセット横断的評価は、進展と一般化を加速させた。
• データセットと評価プロトコルの総合的なレビューは、将来の動向と研究方向の展望を伴う。