[論文レビュー] Towards End-to-End Text Spotting in Natural Scenes

Peng Wang, Hui Li+1 more|arXiv (Cornell University)|Jun 14, 2019

Handwritten Text Recognition Techniques参考文献 65被引用数 7

ひとこと要約

本稿では、共有畳み込み特徴を用いて1回の順伝播でテキストを同時に検出および認識するエンドツーエンドのディーブラーニングフレームワークを提案する。認識ブランチに2次元アテンション機構を統合することで、不規則な形状のテキスト内での文字の正確な位置特定が可能となり、耐障害性の高い認識とバウンディングボックスの微調整が実現され、正規および不規則なテキストのベンチマークで最先端の性能を達成した。

ABSTRACT

Text spotting in natural scene images is of great importance for many image understanding tasks. It includes two sub-tasks: text detection and recognition. In this work, we propose a unified network that simultaneously localizes and recognizes text with a single forward pass, avoiding intermediate processes such as image cropping and feature re-calculation, word separation, and character grouping. In contrast to existing approaches that consider text detection and recognition as two distinct tasks and tackle them one by one, the proposed framework settles these two tasks concurrently. The whole framework can be trained end-to-end and is able to handle text of arbitrary shapes. The convolutional features are calculated only once and shared by both detection and recognition modules. Through multi-task training, the learned features become more discriminate and improve the overall performance. By employing the $2$D attention model in word recognition, the irregularity of text can be robustly addressed. It provides the spatial location for each character, which not only helps local feature extraction in word recognition, but also indicates an orientation angle to refine text localization. Our proposed method has achieved state-of-the-art performance on several standard text spotting benchmarks, including both regular and irregular ones.

研究の動機と目的

• テキストの形状、方向、レイアウトが多様な自然シーンにおけるエンドツーエンドのテキストスポットの課題に対処すること。
• 中間のクロッピングや特徴再抽出に依存する2段階パイプラインの限界を克服すること。
• アテンションベースの位置特定と認識を活用することで、曲がった形状や傾いたテキストなどの不規則なテキストの性能を向上させること。
• 共有特徴とマルチタスク学習により、検出と認識の共同最適化を可能にすること。
• 不要な特徴計算の削減と効率的なアーキテクチャ設計により、計算コストを低減し、推論速度を向上させること。

提案手法

• 検出と認識ブランチの両方に共有されるマルチスケール特徴を抽出するため、ResNet-FPNバックボーンを用いる。
• 複数のFPNレベルにテキストプロポーザルネットワーク（TPN）を設け、テキストインスタンスの領域プロポーザルを生成する。
• 各プロポーザルから固定サイズの2次元特徴をRoIプーリングにより抽出し、検出と認識の両方で使用する。
• 認識ブランチに2次元アテンションベースのエンコーダーデコーダーネットワークを導入し、文字位置の局所化と転写精度の向上を図る。
• アテンション重みを活用して、特に不規則なテキストにおいて、方向と空間的整合性を推定することでバウンディングボックスを微調整する。
• 効率性向上のため、修正されたLSTMアーキテクチャ（パラメータ数の削減と推論時間の短縮）を用いた共有特徴符号化戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 統合されたエンドツーエンドフレームワークは、正規および不規則なテキストの両方で高い精度を維持しながら、テキスト検出と認識を同時に最適化できるか？
• RQ2 2次元アテンション機構は、不規則なテキスト認識において文字間の空間的関係をモデル化するのにどの程度有効か？
• RQ3 アテンションベースの位置特定は、初期プロポーザルの正確さに依存する度合いをどの程度低減できるか？
• RQ4 共有特徴を用いたマルチタスク学習は、分離した学習と比較して特徴の識別性と全体の性能を向上させるか？
• RQ5 LSTM層の数を減らすなどのアーキテクチャ的変更と最適化された推論パイプラインは、精度を損なわず、著しく速度を向上させられるか？

主な発見

• 提案手法は、ICDAR2013（F-measure: 58.72%）およびTotal-Text（F-measure: 59.11%）の複数のベンチマークで最先端の性能を達成した。バウンディングボックスの微調整を伴う。
• アテンションマップを用いたボックス微調整により、ICDAR2013では不規則なテキストで約3%、Total-Textでは約7%の検出性能向上が達成された。
• Total-Textにおいて6点ポリゴンをアテンションマップから適合させた場合、四角形適合と比較して平均F-measureが0.4%向上した。
• 推論速度は約2倍速化（Titan Xで1枚あたり0.5秒）され、パラメータ数が400万個減少した。
• アブレーションスタディにより、修正されたLSTMアーキテクチャがパラメータ数と推論時間を削減しながらも、顕著な精度低下を伴わないことが確認された。
• 失敗事例の主な要因は、コントラストが低いテキスト、小さなサイズ、珍しいフォント、ぼやけた画像、不完全なアテンションベースのボックス微調整である。