[論文レビュー] Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition

Max Jaderberg, Karen Simonyan+2 more|arXiv (Cornell University)|Jun 9, 2014

Handwritten Text Recognition Techniques参考文献 32被引用数 808

ひとこと要約

この論文は、人間によるラベル付き実世界画像を一切必要とせず、合成データのみで学習する深層学習フレームワークを提示している。合成データ上で学習された畳み込みニューラルネットワーク（CNN）を用い、語彙エンコーディング、文字列エンコーディング、N-gramの袋（bag-of-N-grams）エンコーディングの3つの包括的単語認識モデルを導入し、標準ベンチマークで最先端の性能を達成した。特にDICT+2-90kモデルは、実世界の画像を一切使用せず、ICDAR 2013で97.2%の精度を達成した。

ABSTRACT

In this work we present a framework for the recognition of natural scene text. Our framework does not require any human-labelled data, and performs word recognition on the whole image holistically, departing from the character based recognition systems of the past. The deep neural network models at the centre of this framework are trained solely on data produced by a synthetic text generation engine -- synthetic data that is highly realistic and sufficient to replace real data, giving us infinite amounts of training data. This excess of data exposes new possibilities for word recognition models, and here we consider three models, each one "reading" words in a different way: via 90k-way dictionary encoding, character sequence encoding, and bag-of-N-grams encoding. In the scenarios of language based and completely unconstrained text recognition we greatly improve upon state-of-the-art performance on standard datasets, using our fast, simple machinery and requiring zero data-acquisition costs.

研究の動機と目的

• 人間によるラベル付きトレーニングデータを一切必要としない、スケーラブルでエンドツーエンドの自然シーンテキスト認識フレームワークの開発。
• 文字単位の分類に依存するのではなく、一括して単語画像全体を処理する深層CNNを用いた包括的単語認識の探求。
• 非常に多様で制約のないシーンテキスト認識において、合成データが実データと同等の性能を達成できるかどうかの評価。
• 語彙制約の異なる状況下で、語彙エンコーディング、文字列エンコーディング、N-gramの袋の3つの異なるエンコーディング戦略の相違点を比較。
• 合成データ生成が、実世界のシーン画像に一般化できるモデルを十分に訓練できることを実証し、実データの分布についての事前知識がなくてもよいことの示唆。

提案手法

• 変則的なフォント、照明、背景、歪みを模擬する独自のテキストレンダリングエンジンで生成された大規模な合成データセット上で深層CNNを学習。
• 語彙ベースの単語認識のための90,000クラス分類ヘッドを、計算コストが著しく増大することなく、効率的な段階的学習により効果的に訓練。
• 単語認識を、単語全体の特徴をプーリングして1つの埋め込みベクトルにまとめる形で、包括的分類タスクとして定式化。
• 3種類の異なる認識ヘッドを実装：(1) 直接的な9万語分類（DICT）、(2) 位置に敏感な出力を有する文字列モデリング（CHAR）、(3) 二値活性化ベクトルを用いたN-gramの袋のエンコーディング。
• テスト時データ拡張とモデルアンサンブルを適用し、特に制約のない環境下での一般化性能を向上。
• 独自の合成データエンジンを用い、パースペクティブ、ぼやけ、ノイズ、色の変化を加えて、レンダードテキストを実際のシーン画像に合成することで、リアルさと一般化性能を向上。

実験結果

リサーチクエスチョン

• RQ1 人間によるラベル付き実データを一切使用せず、合成データのみで学習した深層CNNが、自然シーンテキスト認識で最先端の性能を達成できるか？
• RQ2 一括して単語画像全体を処理する包括的単語認識と、従来の文字単位での認識とを比較した場合、精度と耐障害性の面でどちらが優れているか？
• RQ3 語彙制約の異なる状況下で、語彙エンコーディング、文字列エンコーディング、N-gramの袋の3つのエンコーディング戦略の相違点と利点・制限は何か？
• RQ4 背景の合成や画像の歪みを含めた合成データのリアルさが、実世界のテスト画像へのモデル一般化に与える影響はどの程度か？
• RQ5 合成データで学習したモデルは、語彙外の単語に対しても効果的に一般化できるか？また、語彙制約付きモデルと比較して、誤りの分布はどのように異なるか？

主な発見

• DICT+2-90kモデルは、実世界の画像を一切使用せず、ICDAR 2013データセットで97.2%の精度を達成し、語彙制約付き認識の分野で新たな最先端性能を樹立した。
• CHAR+2モデルは、言語モデルを併用した場合、ICDAR 2013で90.8%の精度を達成し、語彙外の単語では79.5%の精度を示した。これは、語彙なしでも優れた性能を発揮していることを示している。
• NGRAM+2-SVMモデルは、IC03-50で97%、IC03-Fullで94%の精度に達した。これは、N-gram特徴の単純な最近傍探索でも非常に有効であることを示している。
• 合成データ生成パイプラインに自然画像のブレンドを導入したことで、SVTデータセットでの精度が6.2%向上した。これは、リアルなデータ拡張の重要性を強調している。
• CHAR+2モデルは誤った予測の平均編集距離が1.9であり、DICT+2-90k（2.5）よりも低かった。これは、曖昧一致を伴う検索ベースのアプリケーションに適している可能性を示している。
• 最大のモデル、DICT+2-90kは、1枚のGPUで1単語を2.2msで処理でき、リアルタイム応用に適した高い推論効率を示している。