[論文レビュー] A Simple and Robust Convolutional-Attention Network for Irregular Text Recognition.

Lü Yang, Peng Wang+5 more|arXiv (Cornell University)|Apr 2, 2019

Handwritten Text Recognition Techniques参考文献 44被引用数 40

ひとこと要約

この論文は、2次元CNN特徴を自己注意機構を用いたシーケンスデコーダーに直接マッピングすることで、シーケンス変換やRNNを不要にする、非再帰的でシンプルな畳み込み注意ネットワークを、不規則なシーンテキスト認識に提案する。モデルは、単語レベルのアノテーションのみを用いて、RNNベースの手法と比較して1.7倍から10倍高速な学習および推論を達成し、最先端または競争力のある性能を発揮する。

ABSTRACT

Reading irregular scene text of arbitrary shape in natural images is still a challenging problem, despite the progress made recently. Many existing approaches incorporate sophisticated network structures to handle various shapes, use extra annotations for stronger supervision, or employ hard-to-train recurrent neural networks for sequence modeling. In this work, we propose a simple yet robust approach for scene text recognition. With no need to convert input images to sequence representations, we directly connect two-dimensional CNN features to an attention-based sequence decoder. As no recurrent module is adopted, our model can be trained in parallel. It achieves 1.7x to 10x acceleration to backward pass and 1.4x to 9x acceleration to forward pass, compared with the RNN counterparts. The proposed model is trained with only word-level annotations. With this simple design, our method achieves state-of-the-art or competitive recognition performance on the evaluated regular and irregular scene text benchmark datasets.

研究の動機と目的

• 自然画像内の不規則な形状のテキストを認識する課題に対処すること。
• 複雑なネットワークアーキテクチャやシーケンス変換の必要性を排除すること。
• 遅く、訓練が難しい再帰ニューラルネットワーク（RNN）の使用を避けること。
• インスタンスレベルやシーケンスレベルの監視を回避するため、単語レベルのアノテーションのみで高い性能を達成すること。
• 正確さと効率性の両立を図り、より高速な学習および推論を可能にするモデルを開発すること。

提案手法

• モデルは入力画像からの空間的特徴を抽出するために2次元畳み込みニューラルネットワーク（CNN）を用いる。
• 特徴をフラット化したりシーケンスに変換したりせずに、2次元CNN特徴をトランスフォーマー風の自己注意デコーダーに直接接続する。
• 注意機構により、シーケンス生成に必要な関連する空間的領域に注目できる。
• デコーダーは、単語レベルのアノテーションのみを用いて、クロスエントロピー損失でエンドツーエンドに訓練される。
• RNNが存在しないため、順方向および逆方向の両方のプロパゲーションで完全な並列処理が可能になる。
• CRFやエンコーダーに注意機構を導入するなど、複雑な構成要素を含まないシンプルなアーキテクチャである。

実験結果

リサーチクエスチョン

• RQ1 シーケンス変換を必要とせず、非再帰的で注意に基づくデコーダーが、不規則なシーンテキスト認識で競争力のある性能を達成できるか？
• RQ2 同じ監視レベルを用いた場合、RNNベースのモデルと比較して、学習および推論速度はどの程度異なるか？
• RQ3 単語レベルのアノテーションでのみ学習したモデルが、より強い監視を用いた手法と同等またはそれ以上の性能を発揮できるか？
• RQ4 2次元特徴からシーケンス出力への直接マッピングが、不規則なテキスト形状に対するロバストネスを向上させるか？
• RQ5 不規則なテキストの状況において、モデルの単純さと認識精度のトレードオフは何か？

主な発見

• 提案手法は、規則的および不規則なシーンテキストベンチマークの両方で、最先端または競争力のある性能を達成する。
• RNNベースの対比モデルと比較して、逆方向プロパゲーションで1.7倍から10倍の高速化、順方向プロパゲーションで1.4倍から9倍の高速化を達成する。
• モデルはインスタンスレベルやシーケンスレベルのアノテーションを必要とせず、単語レベルのアノテーションでのみ学習される。
• RNNの不在により、完全な並列処理が可能となり、学習および推論時間が顕著に短縮される。
• 複雑な構成要素を必要とせず、任意の形状のテキストに対しても強いロバストネスを示す。
• シンプルなCNN-注意アーキテクチャが、より複雑なRNNベースのモデルを上回る性能を、速度と正確さの両面で発揮できることを確認した。