[論文レビュー] Deep Structured Output Learning for Unconstrained Text Recognition

Max Jaderberg, Karen Simonyan+2 more|arXiv (Cornell University)|Dec 18, 2014

Handwritten Text Recognition Techniques参考文献 18被引用数 91

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）と条件付きランダムフィールド（CRF）を組み合わせた深層構造的出力学習フレームワークを提案する。バックプロパゲーションによる構造的損失を介して文字予測子とN-gram予測子を同時に学習することで、実際のデータを一切使用せずに合成データのみで学習したにもかかわらず、非制約的および語彙制約付きのベンチマークで最先端の精度を達成した。

ABSTRACT

We develop a representation suitable for the unconstrained recognition of words in natural images: the general case of no fixed lexicon and unknown length. To this end we propose a convolutional neural network (CNN) based architecture which incorporates a Conditional Random Field (CRF) graphical model, taking the whole word image as a single input. The unaries of the CRF are provided by a CNN that predicts characters at each position of the output, while higher order terms are provided by another CNN that detects the presence of N-grams. We show that this entire model (CRF, character predictor, N-gram predictor) can be jointly optimised by back-propagating the structured output loss, essentially requiring the system to perform multi-task learning, and training uses purely synthetically generated data. The resulting model is a more accurate system on standard real-world text recognition benchmarks than character prediction alone, setting a benchmark for systems that have not been trained on a particular lexicon. In addition, our model achieves state-of-the-art accuracy in lexicon-constrained scenarios, without being specifically modelled for constrained recognition. To test the generalisation of our model, we also perform experiments with random alpha-numeric strings to evaluate the method when no visual language model is applicable.

研究の動機と目的

• 固定語彙に依存せずに、未知の語彙外の単語に一般化できるテキスト認識システムの開発。
• 非制約的なシーンにおける任意の英数字文字列および自然言語の単語を認識する課題に対処すること。
• 文字レベルの予測と高階のN-gram依存関係を同時にモデル化することで、認識精度の向上を図ること。
• 実世界のラベル付きテキストデータを一切必要とせず、合成データのみでエンドツーエンドにシステムを学習すること。
• アーキテクチャの特殊化を施さずに、非制約的および語彙制約付きの両状況で競争力のある性能を達成すること。

提案手法

• モデルは、各文字位置における文字確率を予測するCNNを用い、CRFにおけるユニタリポテンシャルとして機能する。
• 2番目のCNNは、単語画像全体にわたるN-gram（例：バイグラム、トライグラム）の存在を予測し、CRFのエッジポテンシャルを提供する。
• CRFレイヤーはユニタリスコアとエッジスコアを統合し、構造的予測により最も確率の高い文字列を推定する。
• エンドツーエンドのバックプロパゲーションにより、構造的出力損失を通じて文字予測子とN-gram予測子を同時に最適化する。
• 学習は合成的に生成された単語画像にのみ依存し、実世界のラベル付きデータは一切不要である。
• 推論は、CRFスコアを最大化する文字列を探索することで実行され、予測の一貫性が保証される。

実験結果

リサーチクエスチョン

• RQ1 固定語彙に依存せずに、非制約的テキスト認識で高い精度を達成できる深層学習モデルは存在するか？
• RQ2 文字レベルの予測とN-gramパターンの共同モデリングは、認識のロバスト性向上にどの程度効果的か？
• RQ3 合成データのみで学習したモデルは、実世界の非制約的テキスト認識ベンチマークに効果的に一般化できるか？
• RQ4 構造的CRFモデリングを組み込むことで、非制約的および制約付き設定の両方で、独立した文字予測よりも性能が向上するか？
• RQ5 従来の言語モデルが機能しない非言語的・ランダムな英数字文字列において、モデルの性能はいかがなものか？

主な発見

• JOINTモデルは、語彙制約なしでIC03テストセットで89.6%の精度を達成し、文字のみのモデル（85.9%）を上回り、語彙フリー認識の新しいベンチマークを確立した。
• SVTデータセットでは、語彙制約なしで71.7%の精度を達成し、CHARモデル（68.0%）を顕著に上回り、非制約的設定における以前の最先端手法と同等またはそれを上回った。
• 9万語の語彙で制約をかけた場合、IC03で93.1%の精度を達成したが、その特定の語彙で学習していないにもかかわらず、DICTモデル（IC03-Fullで98.7%）と同等の性能を示した。
• ランダムな英数字文字列から構成されるSynthRandデータセットでは、81.8%の精度を維持し、N-gram言語モデルが効果を発揮しない状況でもロバストであることを示した。
• CRFエッジスコアが誤予測を是正する例（図4）を示す定性的な事例では、文字のみのモデルが正しく予測できない単語を、JOINTモデルが正しく認識した。
• JOINTモデルは、非制約的および語彙制約付きの両状況で最先端の性能を達成し、その柔軟性と一般化能力を実証した。