[論文レビュー] Text Detection and Recognition in the Wild: A Review

Zobeir Raisi, Mohamed A. Naiel+3 more|arXiv (Cornell University)|Jun 8, 2020

Handwritten Text Recognition Techniques参考文献 181被引用数 26

ひとこと要約

この論文は、自然で制約のない環境（「野生のテキスト」）におけるシーンテキスト検出および認識のための最近のディーブラーニングベースの手法をレビューする。統一されたフレームワーク下で、困難なベンチマークにおいて最先端の事前学習モデルを評価し、現実世界の歪み下での主要な性能ギャップを特定する。研究では、ハイブリッド検出モデル（例：PMTD）およびアテンションベースの認識ネットワーク（例：ASTER、CLOVA）が優れた耐性を示すことが明らかになったが、隠蔽、複雑なフォント、特殊文字は依然として根強い課題である。

ABSTRACT

Detection and recognition of text in natural images are two main problems in the field of computer vision that have a wide variety of applications in analysis of sports videos, autonomous driving, industrial automation, to name a few. They face common challenging problems that are factors in how text is represented and affected by several environmental conditions. The current state-of-the-art scene text detection and/or recognition methods have exploited the witnessed advancement in deep learning architectures and reported a superior accuracy on benchmark datasets when tackling multi-resolution and multi-oriented text. However, there are still several remaining challenges affecting text in the wild images that cause existing methods to underperform due to there models are not able to generalize to unseen data and the insufficient labeled data. Thus, unlike previous surveys in this field, the objectives of this survey are as follows: first, offering the reader not only a review on the recent advancement in scene text detection and recognition, but also presenting the results of conducting extensive experiments using a unified evaluation framework that assesses pre-trained models of the selected methods on challenging cases, and applies the same evaluation criteria on these techniques. Second, identifying several existing challenges for detecting or recognizing text in the wild images, namely, in-plane-rotation, multi-oriented and multi-resolution text, perspective distortion, illumination reflection, partial occlusion, complex fonts, and special characters. Finally, the paper also presents insight into the potential research directions in this field to address some of the mentioned challenges that are still encountering scene text detection and recognition techniques.

研究の動機と目的

• ディーブラーニングベースのシーンテキスト検出および認識分野における最近の進展を詳細にレビューすること。
• 複数のベンチマークデータセットを対象に、統一された実験フレームワーク下で最先端の事前学習モデルの性能を評価すること。
• 隠蔽、視点歪み、複雑なフォントなどの現実世界の条件下でテキストを検出・認識する際の継続的な課題を特定すること。
• 一般化ギャップおよびデータ不足の問題に対処するための今後の研究方向性を提案すること。

提案手法

• ICDAR13、ICDAR15、COCO-Textデータセット上で、統一された評価フレームワークを用いて事前学習モデルの広範な実験を実施した。
• すべてのデータセットで一貫した正例アノテーションと評価指標を用いて、検出および認識モデルの両方を評価した。
• 検出手法をセグメンテーションベース（例：PixelLink、PSENET、PAN）、ハイブリッドレグレッション・セグメンテーション（例：PMTD）、文字レベル検出（例：CRAFT）に分類した。
• アーキテクチャの種別に基づいて認識モデルを評価した：CTCベース（例：CRNN、STARNET、ROSETTA）とアテンションベース（例：ASTER、CLOVA、Baek2019STR）。
• 平面内回転、多方向性、部分的隠蔽を含むマルチチャレンジシナリオにおけるモデル性能を分析した。
• 耐性を高めるために、BERT風の言語モデルとスタイル変換技術を統合することを提案した。

実験結果

リサーチクエスチョン

• RQ1 最先端のディーブラーニングベースのシーンテキスト検出モデルは、多様な現実世界のベンチマークにおいて統一された評価プロトコル下でどのように性能を示すか？
• RQ2 どの検出および認識アーキテクチャが、多方向性、多スケール、歪みのあるテキストに対して優れた耐性を示すか？
• RQ3 現在のモデルが隠蔽、複雑なフォント、特殊文字に直面した際の主な失敗モードは何か？
• RQ4 合成データのみで学習した認識モデルは、微調整なしに現実世界の制約のない画像に一般化できる程度はどの程度か？
• RQ5 テキストの野生の状況において一般化性と耐性を向上させるために、どのようなアーキテクチャ的・訓練的改善が必要か？

主な発見

• セグメンテーションベースの手法（例：PixelLink、PSENET、PAN）は、不規則な形状のテキスト検出において優れた耐性を示した。
• ハイブリッドレグレッション・セグメンテーションモデル（例：PMTD）は、ICDAR13、ICDAR15、COCO-Textの全データセットで最高のH-meanスコアを達成し、特に多方向テキストに対して優れた性能を示した。
• 文字レベル検出モデル（例：CRAFT）は、細粒度の局所化能力のおかげで、不規則で湾曲したテキストにおいて強力な性能を発揮した。
• すべての評価対象手法が、複数の課題（例：隠蔽＋ぼやけ＋視点歪み）が同時に発生した場合には著しく性能が低下した。
• アテンションベースの認識モデル（例：ASTER、CLOVA）は、優れた特徴抽出および空間補正メカニズムのおかげで、CTCベースのモデル（例：CRNN、STARNET）を上回った。
• 合成データのみで学習した認識モデルは、微調整なしに現実世界の画像に一般化できることを示し、一部のケースでは強力なドメイン一般化の可能性を示した。