[論文レビュー] A Holistic Representation Guided Attention Network for Scene Text Recognition

Yang Lu, Dang, Fan+4 more|arXiv (Cornell University)|Apr 2, 2019

Handwritten Text Recognition Techniques参考文献 33被引用数 5

ひとこと要約

この論文では、2次元CNN特徴量と注意ベースのシーケンスデコーダーを中間的なシーケンス表現を経由せずに直接接続する、包括的表現を用いた注意誘導型ネットワークを提案する。2次元空間的注意を包括的画像表現で誘導することで、不規則かつ規則的なシーンテキストベンチマークで最先端の性能を達成するとともに、並列学習を可能にした。RNNベースの手法と比較して、逆伝播が1.5〜9.4倍速く、順伝播が1.3〜7.9倍速く、文字レベルのアノテーションのみで実現した。

ABSTRACT

Reading irregular scene text of arbitrary shape in natural images is still a challenging problem, despite the progress made recently. Many existing approaches incorporate sophisticated network structures to handle various shapes, use extra annotations for stronger supervision, or employ hard-to-train recurrent neural networks for sequence modeling. In this work, we propose a simple yet strong approach for scene text recognition. With no need to convert input images to sequence representations, we directly connect two-dimensional CNN features to an attention-based sequence decoder which guided by holistic representation. The holistic representation can guide the attention-based decoder focus on more accurate area. As no recurrent module is adopted, our model can be trained in parallel. It achieves 1.5x to 9.4x acceleration to backward pass and 1.3x to 7.9x acceleration to forward pass, compared with the RNN counterparts. The proposed model is trained with only word-level annotations. With this simple design, our method achieves state-of-the-art or competitive recognition performance on the evaluated regular and irregular scene text benchmark datasets.

研究の動機と目的

• 自然画像における不規則な形状のテキスト認識の課題に対処すること。これは、複雑な空間的レイアウトのため、依然として困難である。
• 中間的なシーケンス表現やRNNベースのエンコーダーの必要性を排除すること。これらは本質的に逐次的であり、並列学習が困難である。
• デコーダーのためのガイドとして包括的画像表現を導入することで、2次元特徴空間における注意の局在化精度を向上させること。
• 文字レベルのアノテーションに代えて、ワードレベルのアノテーションのみで強力な認識性能を達成すること。
• 再帰的ネットワークを非再帰的かつ並列化可能な注意ベースのデコーダーに置き換えることで、より高速な学習と推論を実現すること。

提案手法

• モデルは入力画像から2次元CNNを用いて特徴マップと包括的表現を抽出し、シーケンス変換を回避する。
• 包括的表現はデコーダーの隠れ状態と連結され、デコーディング中に特徴マップ上の2次元空間的注意を誘導する。
• 2次元クロス注意を用いた注意ベースのデコーダーを採用し、各文字予測ごとに特徴マップの関連する空間領域に注目する。
• デコーダーは非再帰的かつ完全微分可能であり、並列学習と高速な収束を可能にする。
• モデルはエンドツーエンドで学習され、文字レベルのラベルや後処理を必要とせず、ワードレベルのアノテーションのみを用いる。
• 包括的表現はグローバル平均プーリングにより計算され、コンテキストベクトルに投影されて注意重みを調整する。

実験結果

リサーチクエスチョン

• RQ1 包括的画像表現を用いることで、不規則なシーンテキスト認識における2次元特徴マップ上の注意の局在化が向上するか？
• RQ2 RNNを非再帰的かつ並列化可能なデコーダーに置き換えることで、精度を損なわずに学習速度が向上するか？
• RQ3 ワードレベルのアノテーションのみを用いたシンプルなモデルアーキテクチャが、不規則なテキスト認識ベンチマークで最先端の性能を達成できるか？
• RQ4 本手法は、規則的および不規則なテキストデータセットにおいて、RNNベースおよびシーケンストゥシーケンスモデルと比較して、速度と精度の面でどのように差をつけるか？
• RQ5 モデルの主な失敗モードは何か。また、それらは画像品質やテキストの向きとどのように関係しているか？

主な発見

• IC15-1811では79.5%の精度を達成し、以前の最高ワードレベル手法（76.1%）より3.4%向上した。
• CT80では85.4%の精度を達成し、先行する最先端ワードレベル手法（84.4%）より1.0%向上した。
• IIIT5Kでは94.7%の精度を達成し、最良のワードレベルベースライン（94.3%）を上回り、文字レベルモデルと同等の性能を示した。
• 非再帰的設計のおかげで、RNNベースのモデルと比較して逆伝播が1.5〜9.4倍速く、順伝播が1.3〜7.9倍速くなった。
• 失敗事例の主な原因は、ぼやけた画像、低解像度、縦向きテキスト、照明の変動、遮蔽であり、合成データセットにおける縦向きテキストのデータ不足が、特に縦向きテキストの認識に困難をもたらした。
• 注意メカニズムは関連する文字領域にうまく注目しており、注意マップではわずかな位置ずれが時折観察された。