[論文レビュー] Efficient Scene Text Localization and Recognition with Local Character Refinement

Lukáš Neumann, Jiřı́ Matas|arXiv (Cornell University)|Apr 14, 2015

Handwritten Text Recognition Techniques参考文献 19被引用数 4

ひとこと要約

本稿では、文字数や方向にかかわらずテキスト断片を検出可能な、新しいストローク領域比特徴量（SSPsに基づく）を組み込んだMSERを用いたエンドツーエンドでリアルタイムなシーンテキストローカライゼーションおよび認識手法を提案する。初期仮説を局所セグメンテーションモデルで精練することで、Icdar 2013データセットで77.6%の最先端のF-measureを達成し、1枚あたり平均800msの実行時間でリアルタイム性を実現した。

ABSTRACT

An unconstrained end-to-end text localization and recognition method is presented. The method detects initial text hypothesis in a single pass by an efficient region-based method and subsequently refines the text hypothesis using a more robust local text model, which deviates from the common assumption of region-based methods that all characters are detected as connected components. Additionally, a novel feature based on character stroke area estimation is introduced. The feature is efficiently computed from a region distance map, it is invariant to scaling and rotations and allows to efficiently detect text regions regardless of what portion of text they capture. The method runs in real time and achieves state-of-the-art text localization and recognition results on the ICDAR 2013 Robust Reading dataset.

研究の動機と目的

• 文字が単一の連結成分であると仮定する領域ベースのテキスト検出手法の限界を解決すること。これはノイズや断片化に対して感受性が高く、不十分である。
• 文字が単一の連結成分である必要がないという仮定に依存しないように、任意のテキスト断片（1文字、複数文字のグループ、部分語）を検出することで、テキストローカライゼーションの正確性を向上させること。
• スケール、回転、ノイズに対して不変であり、部分的または断片的なテキストの効率的検出を可能にする、耐障害性がありスケーラブルな特徴量を開発すること。
• SSPsを用いてトレーニングされたGMMベースのカラー・モデルと反復的局所精錬を組み合わせることで、セグメンテーション品質を向上させ、認識性能を向上させること。

提案手法

• 文字領域の初期仮説は、領域内のピクセルがストロークに属する割合を推定する新しいストローク領域比特徴量（$\varsigma$）を有するMSERを用いて生成される。
• ストローク領域比特徴量は、領域の距離マップから効率的に計算され、スケールおよび回転に対して不変であり、単一ストローク幅推定法よりもノイズに対してより耐性がある。
• テキストラインは、ベースライン推定モデルを用いてMSERをグループ化し、その後、ピクセルを前景、背景、無視領域に分類する局所セグメンテーションモデルを用いて反復的精錬が行われる。
• ストロークサポートピクセル（SSPs）は、文字ストロークに沿った中心点として特定され、ストローク領域比の計算およびより正確なGMMベースのカラー・モデルのトレーニングに用いられる。
• 2次言語モデル特徴量を有するグラフベースのOCRモジュールを用いて、曖昧性を解消し、セグメンテーションされたコンポonentから最終的な語の列を生成する。
• パイプライン全体は複数スケールで実行され、重複する検出はグラフ内の最小コストパスを選択することで統合され、耐障害的なエンドツーエンド認識を保証する。

実験結果

リサーチクエスチョン

• RQ1 単一文字、複数文字のグループ、部分語を問わずテキスト領域を検出可能な統一された特徴量を開発できるか？
• RQ2 文字が単一の連結成分でなければならないという仮定を越えて、領域ベースのテキスト検出の耐障害性をどのように向上できるか？
• RQ3 ストロークサポートピクセルに基づく局所セグメンテーションモデルは、複雑なシーンにおけるテキストラインの精錬と誤検出の低減にどの程度寄与できるか？
• RQ4 距離マップからのストローク領域推定に基づく特徴量は、スケールおよび回転に対して不変でありながら、計算効率も維持できるか？
• RQ5 SSPsをカラー・モデルに統合することで、コントラストが低いかノイズが多い領域におけるセグメンテーション精度はどの程度向上するか？

主な発見

• 本手法は、ICDAR 2013 ロバストリーディングデータセットで77.6%の最先端のF-measureを達成し、2013年のコンペティション優勝者を上回った。
• リcallは72.4%、precisionは81.8%を記録し、2013年の優勝者（66%のリcall、76.2%のF-measure）と比較して顕著な向上を示した。
• エンドツーエンド認識では、1189語中543語（45%）が正しくローカライズおよび認識され、真値と重複しない誤検出（ホールーシュエート）は79語にとどまった。
• 標準の2.7GHz PC上で1枚あたり平均800msの実行時間であり、リアルタイム実行が可能であることを示した。
• 本手法は、断片的または部分的にしか見えないテキストの検出において特に効果的であり、SSPに基づく特徴量のおかげで、含む文字数にかかわらずテキスト領域を検出可能である。
• 失敗事例の主な原因は、矢印や絵文字などの文字に似たオブジェクトおよび初期MSER段階で捉えられなかった低コントラストテキストである。