[論文レビュー] Robust Scene Text Recognition with Automatic Rectification

Baoguang Shi, Xinggang Wang+3 more|arXiv (Cornell University)|Mar 12, 2016

Handwritten Text Recognition Techniques参考文献 40被引用数 88

ひとこと要約

本稿では、空間変換ネットワーク（STN）を用いた薄板スプライン（TPS）変換により不規則なテキストを自動で補正する深層学習モデルRAREを提案する。その後、アテンションベースのシーケンス認識ネットワーク（SRN）を用いてテキストを認識する。エンド・ツー・エンドで学習可能なモデルであり、SVT-Perspective や CUTE80 といったベンチマークで最先端の性能を達成しており、幾何学的補正の教師データを必要とせずに、透視図法的・湾曲したテキストにおいても顕著に認識精度を向上させている。

ABSTRACT

Recognizing text in natural images is a challenging task with many unsolved problems. Different from those in documents, words in natural images often possess irregular shapes, which are caused by perspective distortion, curved character placement, etc. We propose RARE (Robust text recognizer with Automatic REctification), a recognition model that is robust to irregular text. RARE is a specially-designed deep neural network, which consists of a Spatial Transformer Network (STN) and a Sequence Recognition Network (SRN). In testing, an image is firstly rectified via a predicted Thin-Plate-Spline (TPS) transformation, into a more "readable" image for the following SRN, which recognizes text through a sequence recognition approach. We show that the model is able to recognize several types of irregular text, including perspective text and curved text. RARE is end-to-end trainable, requiring only images and associated text labels, making it convenient to train and deploy the model in practical systems. State-of-the-art or highly-competitive performance achieved on several benchmarks well demonstrates the effectiveness of the proposed model.

研究の動機と目的

• 自然なシーンにおける不規則なテキスト（透視図法的・湾曲したテキストなど）の認識という課題に取り組むこと。
• 幾何学的変換の手動アノテーションを必要とせず、不規則なテキストをより読みやすく規則的な形に自動で補正する手法を開発すること。
• 画像とテキストラベルの監視のみを用いて、補正と認識を同時に最適化するエンド・ツー・エンドの学習可能な認識システムを実現すること。
• 特に語彙なしおよび完全語彙設定において、SVT-Perspective や CUTE80 のような困難なベンチマークで認識性能を向上させること。

提案手法

• モデルは空間変換ネットワーク（STN）とシーケンス認識ネットワーク（SRN）を組み合わせており、STNが入力画像に微分可能なTPS変換を適用して補正する。
• STNは畳み込みニューラルネットワーク（CNN）を介して特徴点座標を回帰し、不規則なテキストをより規則的かつ水平なレイアウトにマッピングするTPS変換を生成する。
• SRNはエンコーダ・デコーダ構造にアテンション機構を組み合わせ、補正済みの特徴マップから文字列としてのテキストを認識する。
• 全ネットワークはバックプロパゲーションを用いてエンド・ツー・エンドで学習され、SRNの損失関数から得られる勾配が、幾何学的教師データを必要とせずにSTNの変換パラメータを監視する。
• STNは、テキストラインをまっすぐで読みやすいフォーマットに整列させる最適な特徴点を予測するよう学習し、認識性能を向上させる。
• SRNのエンコーダでは畳み込み・再帰構造を活用することで、アテンションベースのデコードに適した有効な逐次的特徴表現を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、透視図法的・湾曲したテキストといった不規則なシーンテキストを、標準的な認識モデルが扱える形式に自動で補正できるか？
• RQ2 画像とテキストラベルのペairのみを用いて、幾何学的監視なしに補正と認識のエンド・ツー・エンド学習を達成できるか？
• RQ3 微分可能なSTNとアテンションベースのシーケンス認識器を統合することで、従来手法と比較して不規則なテキストの認識精度が向上するか？
• RQ4 SVT-Perspective や CUTE80 のような、挑戦的なテキスト形状を有するベンチマークにおいて、特に語彙なし設定でモデルの性能はいかがなっているか？

主な発見

• SVT-Perspectiveデータセットでは、50語の語彙を用いた場合に91.2%の精度を達成し、語彙なし設定では77.4%を記録。従来の最先端手法を上回った。
• 湾曲テキストに特化したCUTE80データセットでは、語彙なし設定で59.2%の精度を達成。[17]（42.7%）および[32]（54.9%）を上回った。
• 透視図法的テキストでは、補正機構のおかげで強い歪みに起因する課題が著しく軽減され、認識精度が向上した。
• 定性的な結果から、STNがテキストの境界に沿って特徴点を効果的に予測しており、SRNが読みやすい補正済み画像を生成していることが示された。
• 特徴点の設計を別途行う必要なく、透視図法的・湾曲テキストを含む多様な不規則なテキストタイプに対して、モデルは頑健に動作した。
• 極端な歪みに対しては偶発的に失敗する場合もあるが、エンド・ツー・エンドの学習スキームにより、認識損失の逆伝播を通じてSTNが補正を暗黙的に効果的に学習できた。