[論文レビュー] Large Vocabulary Arabic Online Handwriting Recognition System

Ibrahim Abdelaziz, Sherif Abdou+1 more|arXiv (Cornell University)|Oct 17, 2014

Handwritten Text Recognition Techniques参考文献 35被引用数 9

ひとこと要約

本稿では、64,000語（92%の言語カバー率）をサポートする大規模語彙HMMベースのオンラインアラビア語手書き認識システムを提示する。本システムは、先進的な音声認識由来のモデリング技術と、遅延ストロークを処理するための新規前処理手法を採用しており、1ユーザーあたり200語未塔のライターアダプテーションを用いて87.5%の正確性を達成し、小規模および大規模語彙の両方で最先端の手法を上回り、リアルタイム性能を備えている。

ABSTRACT

Arabic handwriting is a consonantal and cursive writing. The analysis of Arabic script is further complicated due to obligatory dots/strokes that are placed above or below most letters and usually written delayed in order. Due to ambiguities and diversities of writing styles, recognition systems are generally based on a set of possible words called lexicon. When the lexicon is small, recognition accuracy is more important as the recognition time is minimal. On the other hand, recognition speed as well as the accuracy are both critical when handling large lexicons. Arabic is rich in morphology and syntax which makes its lexicon large. Therefore, a practical online handwriting recognition system should be able to handle a large lexicon with reasonable performance in terms of both accuracy and time. In this paper, we introduce a fully-fledged Hidden Markov Model (HMM) based system for Arabic online handwriting recognition that provides solutions for most of the difficulties inherent in recognizing the Arabic script. A new preprocessing technique for handling the delayed strokes is introduced. We use advanced modeling techniques for building our recognition system from the training data to provide more detailed representation for the differences between the writing units, minimize the variances between writers in the training data and have a better representation for the features space. System results are enhanced using an additional post-processing step with a higher order language model and cross-word HMM models. The system performance is evaluated using two different databases covering small and large lexicons. Our system outperforms the state-of-art systems for the small lexicon database. Furthermore, it shows promising results (accuracy and time) when supporting large lexicon with the possibility for adapting the models for specific writers to get even better results.

研究の動機と目的

• 大規模語彙を備えたオンライン手書き認識システムにおいて、草書体で変形の多いアラビア語テキストを高精度に認識する課題に対処すること。
• 既存システムが遅延ストローク処理や小規模語彙サポートに苦労するという限界を克服すること。
• 最小限のユーザー固有の適応データで高精度を達成できるスケーラブルでリアルタイムな認識システムの開発。
• 音声認識分野で発展した高度なHMMトレーニング技術をアラビア語手書き認識に統合し、性能を向上させること。

提案手法

• 文脈依存状態とガウス混合モデルを用いた隠れマルコフモデル（HMM）を採用し、強固なシーケンスモデリングを実現。
• 初期のストローク検出を必要とせず、遅延ストロークを再順序付けする新規な前処理手法を採用し、語の構造との整合性を向上。
• 高度なトレーニング技術として、スピーカー適応学習、判別的再トレーニング、適応的ガウス混合分割を適用。
• リアルタイムのペンストロークシーケンス（x, y, 時間）から特徴抽出を行い、HMMの入力として生成。
• 認識には2パス推論戦略を採用：第1パスでは64,000語の辞書を使用、第2パスでは5-gram言語モデルを用いて仮説を再スコアリング。
• ライターマイナスの適応は、1ユーザーあたり200語未塔のデータで実現され、モデルの微調整により正確性が著しく向上。

実験結果

リサーチクエスチョン

• RQ1 64,000語の固有語彙をサポートし、高精度を達成できる大規模語彙のアラビア語オンライン手書き認識システムをどのように設計できるか？
• RQ2 ストローク検出を必要とせず、多様な書体にわたる遅延ストロークを効果的に処理できる前処理手法は何か？
• RQ3 音声認識分野で開発された高度なHMMトレーニング技術は、アラビア語手書き認識性能をどの程度向上できるか？
• RQ4 200語未塔のユーザー固有の適応データで、個々のライターの認識正確性を著しく向上できるか？
• RQ5 高次の言語モデル統合が、大規模語彙環境下での認識正確性にどのような影響を与えるか？

主な発見

• ライターマイナスのモデルを用いた第1パスではALTEC-AHテストセットで80.07%の正確性を達成し、5-gram言語モデルを用いた第2パスの再スコアリングで87.47%まで向上。
• 1ユーザーあたり200語のデータで、適応済みシステムは87.47%の正確性に到達し、強力なパーソナライゼーション能力を示した。
• 語彙内語彙に限定すると、適応済みシステムは95%の正確性を達成し、既知の語彙語の信頼性が極めて高いことを示した。
• システムはほぼリアルタイム性能を維持しており、小規模語彙では1秒未塔、大規模語彙では2.2秒でサンプルを認識。
• 第2パスの再スコアリングはわずか0.15秒で実行され、高次の言語モデリングの有効性を実証した。
• 小規模語彙ベンチマークでは既存の最先端手法を上回り、大規模語彙用途においても強く有望な結果を示した。