[論文レビュー] Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks

Hui Li, Peng Wang+1 more|arXiv (Cornell University)|Jul 13, 2017

Handwritten Text Recognition Techniques参考文献 27被引用数 27

ひとこと要約

本論文では、一貫したアーキテクチャを用いて自然画像内のテキストを共同で検出および認識するエンド・ツー・エンドの畳み込み再帰ニューラルネットワークを提案する。検出と認識の間で畳み込み特徴を共有し、RNNエンコーディングを伴う可変サイズのRoIプーリングを採用することで、中間処理ステップを排除し、1回の順方向伝搬でICDAR2011およびICDAR2015ベンチマークで最先端の性能を達成した。

ABSTRACT

In this work, we jointly address the problem of text detection and recognition in natural scene images based on convolutional recurrent neural networks. We propose a unified network that simultaneously localizes and recognizes text with a single forward pass, avoiding intermediate processes like image cropping and feature re-calculation, word separation, or character grouping. In contrast to existing approaches that consider text detection and recognition as two distinct tasks and tackle them one by one, the proposed framework settles these two tasks concurrently. The whole framework can be trained end-to-end, requiring only images, the ground-truth bounding boxes and text labels. Through end-to-end training, the learned features can be more informative, which improves the overall performance. The convolutional features are calculated only once and shared by both detection and recognition, which saves processing time. Our proposed method has achieved competitive performance on several benchmark datasets.

研究の動機と目的

• 誤差伝搬と冗長な計算に苦しむ順次的テキスト検出・認識パイプラインの限界を克服する。
• エンド・ツー・エンドの学習による検出と認識の共同最適化を可能にし、特徴の情報量と全体的な性能を向上させる。
• テキストバウンディングボックスのアスペクト比の多様性を保つように、固定サイズのRoIプーリングによる歪みを回避する領域特徴エンコーディング手法を設計する。
• 合成データから現実世界のデータへ段階的に学習を進めるカリキュラム学習戦略を開発し、複雑な外観に強いモデルの耐性を高める。
• 単語レベルのグループ化や文字セグメンテーションを必要とせず、標準ベンチマークで競争力のある性能を達成する。

提案手法

• テキストプロポーザルネットワーク（TPN）を用いてオブジェクトプロポーザルを生成し、その後に可変サイズのRoIを処理するRNNを用いた領域特徴エンコーダーを統合する、統合された深層ニューラルネットワークアーキテクチャを提案する。
• 各テキストプロポーザルのアスペクト比に応じてプーリンググリッドを調整する可変サイズのプーリング機構を導入し、縦長や細長い単語の空間的詳細を保持する。
• 注意メカニズムを備えたRNNデコーダーを用いて単語認識を実現し、エンコードされた領域特徴の関連部分に注目できるようにする。
• 検出（分類とバウンディングボックス回帰）と認識（交差エントロピー損失）の両方の損失関数を統合して、ネットワーク全体をエンド・ツー・エンドで学習する。
• まず大規模な語彙と単純な背景を持つ合成データで学習し、その後に複雑な合成データおよび現実世界の画像でファインチューニングすることで、カリキュラム学習を適用する。
• 検出と認識の両ヘッド間で畳み込み特徴を共有することで、計算コストを低減し、特徴の一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合ネットワークのエンド・ツー・エンド学習により、検出と認識を同時に最適化でき、順次パイプラインに比べて性能が向上するか？
• RQ2 アスペクト比の多様性を尊重する可変サイズのRoIプーリング機構は、固定サイズのプーリングに比べて、テキスト認識のための特徴をより効果的に保持できるか？
• RQ3 合成データから現実世界のデータへ段階的に学習を進めるカリキュラム学習戦略は、モデルの一般化性能と収束性を向上させるか？
• RQ4 検出と認識の間で畳み込み特徴を共有することで、計算コストと誤差の蓄積がどの程度低減されるか？
• RQ5 提案手法は、ICDAR2011およびICDAR2015といった標準ベンチマークで、最先端の手法に比べてどの程度の性能を示すか？

主な発見

• 提案手法「Ours Atten+Vary」は、ICDAR2011で89.2%、ICDAR2015で85.1%の平均平均精度（mAP）を達成し、従来の最先端手法を上回った。
• 3つの入力スケールのみを用いる場合、TextBoxesが5つのスケールを必要とするのに対し、平均で1.5%高いリコールを達成しており、効率性と正確性に優れていることが示された。
• 可変サイズプーリング戦略により、長めの単語（例：35パーツ vs. 固定サイズプーリングの20パーツ）の空間的詳細がより多く保持され、認識性能が向上した。
• 共有特徴を用いたエンド・ツー・エンド学習により、より情報量の多い特徴が得られ、検出と認識の両性能が向上した。
• バウンディングボックスが文字を完全にカバーしていない場合でも、モデルは効果的に単語を認識できており、合成データから文字レベルの言語モデルを効果的に学習していることが示された。
• M40 GPU上での推論速度は、1枚あたり約0.9秒（600×800解像度）であり、2段階ベースラインの認識処理時間（0.45秒）に比べ、統合アプローチの効率性が顕著に示された。