[論文レビュー] End to End Recognition System for Recognizing Offline Unconstrained Vietnamese Handwriting

Anh Duc Le, Hung Tuan Nguyen+1 more|arXiv (Cornell University)|May 14, 2019

Handwritten Text Recognition Techniques参考文献 22被引用数 4

ひとこと要約

本稿では、特徴量の手作業抽出や外部言語モデルに依存せずに、オフラインで制約のないベトナム語手書き文字認識を実現するエンド・ツー・エンドのアテンションベースのエンコーダ・デコーダモデル（AED）を提案する。特徴抽出にDenseNetを、順序生成にLSTMデコーダとアテンションを組み合わせたモデルは、外部言語モデルを用いない状態でVNOnDB-Wordデータセットにおいて12.30%の語誤り率（WER）を達成し、ベースラインシステムを上回り、公開コンペティションでもGoogleの性能と同等を達成した。

ABSTRACT

Inspired by recent successes in neural machine translation and image caption generation, we present an attention based encoder decoder model (AED) to recognize Vietnamese Handwritten Text. The model composes of two parts: a DenseNet for extracting invariant features, and a Long Short-Term Memory network (LSTM) with an attention model incorporated for generating output text (LSTM decoder), which are connected from the CNN part to the attention model. The input of the CNN part is a handwritten text image and the target of the LSTM decoder is the corresponding text of the input image. Our model is trained end-to-end to predict the text from a given input image since all the parts are differential components. In the experiment section, we evaluate our proposed AED model on the VNOnDB-Word and VNOnDB-Line datasets to verify its efficiency. The experiential results show that our model achieves 12.30% of word error rate without using any language model. This result is competitive with the handwriting recognition system provided by Google in the Vietnamese Online Handwritten Text Recognition competition.

研究の動機と目的

• 手作業による特徴量抽出や外部言語モデルに依存せずに、制約のないベトナム語手書き文字を認識するエンド・ツー・エンドのディープラーニングシステムの開発を目的とする。
• ベトナム語の複雑なダイアクリティック記号や声調マークを考慮し、統一されたニューラルアーキテクチャを用いて認識精度を向上させることを目的とする。
• 標準ベンチマークであるVNOnDB-WordおよびVNOnDB-Lineデータセットを用いて、モデルの性能を評価することを目的とする。
• 公開コンペティションの場において、Googleのソリューションを含む最先端のシステムと同等の性能を示すことを目的とする。

提案手法

• モデルは、手書き画像入力から階層的で空間的に不変な特徴量を抽出するため、DenseNetバックボーンを用いる。
• LSTMデコーダにアテンション機構を統合し、テキスト生成中に関連する画像領域に動的に注目できるようにする。
• すべてのモジュールが微分可能であるため、バックプロパゲーションを用いてエンド・ツー・エンドで学習される。
• エンコーダは入力画像を処理し、文脈に配慮した特徴表現を生成する。
• デコーダは、エンコードされた特徴量と画像上の注目度に条件づけられた自動回帰的にテキストトークンを生成する。
• 損失関数は、予測されたテキスト系列と正解系列のクロスエントロピーに基づく。

実験結果

リサーチクエスチョン

• RQ1 外部言語モデルを用いないエンド・ツー・エンドのアテンションベースのエンコーダ・デコーダモデルは、制約のないベトナム語手書き文字認識で競争力のある性能を達成できるか？
• RQ2 DenseNetとアテンション強化LSTMの組み合わせは、ベトナム語手書き文字の複雑な視覚的・順序的パターンを効果的に捉えることができるか？
• RQ3 提案されたモデルは、VNOnDB-WordやVNOnDB-Lineといった標準ベンチマークで、既存のシステムを上回る性能を示すか？
• RQ4 実世界の応用で一般的な制約のない書体スタイルへの一般化性能はどの程度高いか？

主な発見

• 提案されたAEDモデルは、外部言語モデルを一切使用しない状態で、VNOnDB-Wordデータセットにおいて語誤り率（WER）12.30%を達成した。
• モデルの性能は、ベトナム語オンライン手書き文字認識コンペティションで優勝を果たしたGoogleのシステムと同等であり、競争力があることが示された。
• LSTMにアテンションを統合することで、画像特徴量と生成されたテキストの間のアライメントが向上し、認識精度が向上した。
• エンド・ツー・エンドの学習戦略により、特徴抽出と順序生成の共同最適化が可能になり、誤差伝搬が低減された。