[論文レビュー] Recognition of Handwritten Textual Annotations using Tesseract Open Source OCR Engine for information Just In Time (iJIT)

Sandip Rakshit, Subhadip Basu+1 more|arXiv (Cornell University)|Mar 30, 2010

Handwritten Text Recognition Techniques参考文献 8被引用数 25

ひとこと要約

本稿では、TesseractオープンソースOCRエンジンを用いて、Just-In-Time (iJIT) 情報取得のためのユーザー固有の手書きOCRシステムを提案する。個々のユーザーの分離済みおよびフリーフロー形式の手書きサンプルを用いて、ユーザーごとにカスタム言語モデルを訓練し、フリーフロー形式の注記において5人のユーザーで81.53%〜92.88%の文字認識精度を達成した。

ABSTRACT

Objective of the current work is to develop an Optical Character Recognition (OCR) engine for information Just In Time (iJIT) system that can be used for recognition of handwritten textual annotations of lower case Roman script. Tesseract open source OCR engine under Apache License 2.0 is used to develop user-specific handwriting recognition models, viz., the language sets, for the said system, where each user is identified by a unique identification tag associated with the digital pen. To generate the language set for any user, Tesseract is trained with labeled handwritten data samples of isolated and free-flow texts of Roman script, collected exclusively from that user. The designed system is tested on five different language sets with free- flow handwritten annotations as test samples. The system could successfully segment and subsequently recognize 87.92%, 81.53%, 92.88%, 86.75% and 90.80% handwritten characters in the test samples of five different users.

研究の動機と目的

• iJITシステムにおける手書きテキスト注記のリアルタイム認識を可能にし、即時の情報アクセスを実現すること。
• フリーフロー形式のユーザー固有の手書き小文字ローマン文字の認識という課題に取り組むこと。
• 個々の筆跡パターンに適応するTesseractを用いたパーソナライズドOCRモデルの開発。
• デジタルペンベースシステムにおける動的で制約のない手書き注記の認識精度を向上させること。
• 複数のユーザーから得た多様な筆跡サンプルを用いて、システムのパフォーマンスを評価すること。

提案手法

• Apache License 2.0の下で動作するTesseract OCRエンジンを用いて、ユーザー固有の手書き認識モデルのトレーニングを実施。
• 各ユーザーから独自に収集したラベル付きの手書きデータサンプル（分離済みおよびフリーフロー形式）を収集。
• ユーザーごとに個人の手書きサンプルを用いてTesseractをトレーニングし、固有の言語セットを生成。
• フリーフロー形式の手書き注記から個々の文字または単語を分離するためのセグメンテーション技術を適用。
• 入力を正しい言語モデルに関連付けるために、固有のデジタルペンタグを用いてユーザー識別を実施。
• 5名の異なるユーザーのフリーフロー形式の手書き注記のテストサンプルを用いて、認識パフォーマンスを検証。

実験結果

リサーチクエスチョン

• RQ1 Tesseractは、フリーフロー形式でのユーザー固有の手書き小文字ローマン文字を効果的に微調整可能か？
• RQ2 分離済みおよびフリーフロー形式のサンプルを用いてトレーニングされたユーザー固有の言語モデルを用いることで、どの程度の文字認識精度が達成できるか？
• RQ3 多様な筆跡スタイルを持つ複数のユーザーにおいて、システムのパフォーマンスはどのように変動するか？
• RQ4 デジタルペンIDとユーザー固有のOCRモデルを統合することで、リアルタイムで文脈に応じた情報取得が可能になるか？
• RQ5 トレーニングデータの種別（分離済み vs. フリーフロー）が、制約のない手書きにおける認識パフォーマンスに与える影響は何か？

主な発見

• 1人のユーザーでは87.92%の文字認識精度を達成し、5名のテストユーザーの中で最低でも81.53%の精度を示した。
• 筆跡が明確で一貫性のあるユーザーに対しては、最高で92.88%の認識率を記録した。
• 全体として、2名の追加ユーザーに対してはそれぞれ86.75%および90.80%の文字が正しく認識され、多様な筆跡パターンに対しても高い頑健性を示した。
• ユーザー固有の言語モデルの使用により、汎用OCRモデルと比較して認識パフォーマンスが顕著に向上した。
• フリーフロー形式の手書き注記は効果的にセグメンテーションされ、認識が成功したため、実世界のiJITアプリケーションへの適性が裏付けられた。
• デジタルペンIDとパーソナライズドTesseractモデルの統合により、動的環境下でも正確でユーザー認識可能な認識が実現した。