[論文レビュー] Scene Text Recognition from Two-Dimensional Perspective

Minghui Liao, Jian Zhang+6 more|arXiv (Cornell University)|Sep 18, 2018

Handwritten Text Recognition Techniques参考文献 41被引用数 36

ひとこと要約

本稿では、文字レベルの注目メカニズムを備えたセマンティックセグメンテーションフレームワークを用いて、ピクセル単位で文字を予測する2次元のシーンテキスト認識モデルであるCharacter Attention Fully Convolutional Network (CA-FCN) を提案する。従来の1次元シーケンスベース手法とは異なり、CA-FCNは任意形状のテキストを直接処理でき、特に不規則なテキストにおいて最先端の性能を達成するとともに、不正確なテキスト検出バウンディングボックスに対しても優れたロバスト性を示す。

ABSTRACT

Inspired by speech recognition, recent state-of-the-art algorithms mostly consider scene text recognition as a sequence prediction problem. Though achieving excellent performance, these methods usually neglect an important fact that text in images are actually distributed in two-dimensional space. It is a nature quite different from that of speech, which is essentially a one-dimensional signal. In principle, directly compressing features of text into a one-dimensional form may lose useful information and introduce extra noise. In this paper, we approach scene text recognition from a two-dimensional perspective. A simple yet effective model, called Character Attention Fully Convolutional Network (CA-FCN), is devised for recognizing the text of arbitrary shapes. Scene text recognition is realized with a semantic segmentation network, where an attention mechanism for characters is adopted. Combined with a word formation module, CA-FCN can simultaneously recognize the script and predict the position of each character. Experiments demonstrate that the proposed algorithm outperforms previous methods on both regular and irregular text datasets. Moreover, it is proven to be more robust to imprecise localizations in the text detection phase, which are very common in practice.

研究の動機と目的

• シーン画像におけるテキストの真の2次元的空間的分布を考慮しない1次元シーケンスベースの手法の限界を解消すること。
• 従来の手法が1次元シーケンスへの特徴圧縮に起因して困難をきたす不規則で曲がったテキストにおける認識性能の向上。
• 検出段階での不正確なテキスト局所化という、過去の研究でしばしば無視されがちな現実世界の課題に対するロバスト性の強化。
• 補正処理や複雑な後処理を必要とせず、自然に任意形状のテキストを処理できる手法の開発。
• 学習可能な語形成モジュールを介して、文字クラスと空間的位置の共同予測を可能にするエンドツーエンド認識の実現。

提案手法

• CA-FCNは、入力画像からマルチスケール特徴を抽出するためにVGG-16バックボーンを用いた完全畳み込みネットワークを採用する。
• 各空間的位置に文字レベルの注目メカニズムを適用し、個々の文字の特徴表現を精緻化することで、局所化と分類の両方を向上させる。
• モデルはピクセル単位の文字分類を実行し、テキスト認識を1次元シーケンス生成ではなく2次元空間におけるセマンティックセグメンテーションタスクとして扱う。
• 語形成モジュールは、同じクラスに属する空間的に隣接する文字をグループ化することで、予測された文字マップから語を再構築する。
• 不規則な形状のテキストに対する特徴表現を強化するため、可変受容 field を適応的に調整する可変畳み込み層を統合する。
• 実データセットにおける手動ラベルの必要性を回避するため、合成データからの文字レベルのアノテーションを用いてネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 1次元シーケンスモデリングと比較して、2次元セマンティックセグメンテーションタスクとしてシーンテキスト認識をモデル化することで、不規則で曲がったテキストにおける性能向上が達成できるか？
• RQ2 ノイズや不正確なテキスト検出バウンディングボックスに対して、提案された2次元アプローチは1次元シーケンスベースモデルと比較してどの程度ロバストか？
• RQ3 文字レベルの注目と可変畳み込みの統合が、認識精度と局所化の正確性をどの程度向上させるか？
• RQ4 2次元予測フレームワークは、シーン画像における背景ノイズや空間的歪みへの感受性を低減するか？
• RQ5 明示的な補正処理や後処理を必要とせず、規則的・不規則な両方のテキストに対して効果的に一般化できるか？

主な発見

• CA-FCNは、規則的テキスト（IC15, ICDAR2013）および不規則テキスト（IC17, IIIT）の両方で、最先端の性能を達成した。
• IIITデータセットでは、標準スプリットで91.4%の精度を達成し、拡張されたIIIT-pデータセットでは2.6%のギャップを示した（CRNNは6.4%）。
• IIIT-pでは2.9%のギャップ、IIIT-r-pでは4.8%のギャップを示し、局所化ノイズ下でもCRNN（6.4%および8.3%のギャップ）を顕著に上回った。
• アブレーションスタディにより、注目モジュールと可変畳み込みの両方が精度とロバスト性を向上させ、両方を併用した際が最高の性能を示した。
• ノイズが1次元特徴シーケンスにエンコードされないため、背景ノイズや空間的歪みに対してよりロバストである。
• 語形成モジュールは2次元文字マップから語を効果的に再構築でき、文字クラスと空間的位置の共同予測を可能にした。