[論文レビュー] End-to-End Text Recognition with Hybrid HMM Maxout Models

Ouais Alsharif, Joëlle Pineau|arXiv (Cornell University)|Oct 7, 2013

Handwritten Text Recognition Techniques参考文献 25被引用数 100

ひとこと要約

この論文では、ハイブリッドHMM-マクスアウトモデルを用いたエンドツーエンドの文字認識システムを提案する。深層畳み込みマクスアウトネットワークとドロップアウトを活用し、高精度な文字認識を実現するとともに、スケーラブルで語彙効率の良い語認識器を採用している。本システムは、ICDAR 2003およびSVTベンチマークで最先端のF値を達成しており、シンプルなMSERベースのテキスト検出器を用いていながらも、先行するエンドツーエンド手法を上回っている。

ABSTRACT

The problem of detecting and recognizing text in natural scenes has proved to be more challenging than its counterpart in documents, with most of the previous work focusing on a single part of the problem. In this work, we propose new solutions to the character and word recognition problems and then show how to combine these solutions in an end-to-end text-recognition system. We do so by leveraging the recently introduced Maxout networks along with hybrid HMM models that have proven useful for voice recognition. Using these elements, we build a tunable and highly accurate recognition system that beats state-of-the-art results on all the sub-problems for both the ICDAR 2003 and SVT benchmark datasets.

研究の動機と目的

• エンドツーエンドのシーンテキスト認識の課題に取り組む。これは、テキスト検出、文字認識、語認識を高精度かつ高効率に統合するものである。
• 広範なドロップアウト正則化を適用した深層畳み込みマクスアウトネットワークを用いることで、シーンテキスト画像における文字認識の精度を向上させる。
• 大規模語彙に対しても高速かつ高精度に動作し、高次のn-gram言語モデルを統合可能な、効率的な語認識器を設計する。
• 多様なシーンテキストベンチマークにおいて、精度、再現率、速度、F値のバランスを取ったエンドツーエンドシステムを構築する。
• 文字認識モジュールと語認識モジュールをモジュラで階層的に統合することで、標準ベンチマークで優れた性能が得られることを示す。

提案手法

• 文字認識モジュールは、過学習を低減し、シーンテキスト画像における一般化性能を向上させるために、重度のドロップアウトを適用した深層畳み込みマクスアウトネットワークを採用する。
• 語認識モジュールは、ハイブリッドHMM/マクスアウトアーキテクチャを採用し、語の系列を音声認識における「発音」に類似した文字の系列としてモデル化することで、高精度な系列モデリングを実現する。
• HMMフレームワークを介して語彙に高次のn-gramを統合し、語彙サイズに関わらず定数時間での計算が可能になる。
• 視覚的類似度と編集距離に基づくコスト関数を用いて語の予測をスコア化し、重複する検出のフィルタリングおよび非最大抑制処理を可能にする。
• エンドツーエンドのパイプラインは、MSERを用いたテキスト領域候補生成から開始し、その後に文字認識および語認識モジュールを処理し、非最大抑制および編集距離フィルタリングによる後処理を実施する。
• システムは、検出の50％オーバーラップ閾値を用いた精度、再現率、F値の指標に基づき、標準ベンチマークで訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 最小限の前処理で、ドロップアウトを適用した深層畳み込みマクスアウトネットワークが、既存の手法を上回る性能を示せるか？
• RQ2 大規模語彙サイズに対して、精度とスケーラビリティの両立を実現する語認識システムはどのように設計できるか？
• RQ3 ハイブリッドHMM/マクスアウトモデルは、音声認識における発音認識に類似した方法で語の系列を効果的にモデル化できるか？
• RQ4 文字認識モジュールと語認識モジュールをエンドツーエンドパイプラインに統合することで、標準ベンチマークにおける全体のF値がどの程度向上するか？
• RQ5 高精度な認識モジュールと組み合わせた場合、MSERのようなシンプルなテキスト検出器でも、エンドツーエンドで最先端の性能を達成できるか？

主な発見

• 提案された文字認識モデルは、ICDAR 2003およびSVTデータセットで最先端の性能を達成し、最小限の前処理で先行手法を上回った。
• 語認識モジュールは語彙サイズに依存しない定数時間の推論を実現し、大規模語彙へのスケーリングにおいて性能劣化が生じない。
• エンドツーエンドシステムは、既存のエンドツーエンドアプローチの中でICDAR 2003およびSVTベンチマークで最高のF値を達成した。これは、MSERを用いたテキスト検出であっても同様に成立する。
• ICDAR 2003データセットでは、フル語彙および大規模語彙設定を含む5つの異なる語彙設定すべてで最先端の結果を達成した。
• 精度／再現率曲線は、語彙サイズの変動に対しても一貫した性能を示しており、語認識部のロバスト性とスケーラビリティを裏付けた。
• 視覚的サンプルと定量的結果から、複雑な背景や多様なフォントを有する実世界のシーンテキストに対しても、本システムの汎用性が確認された。