[論文レビュー] Automatic quality evaluation and (semi-) automatic improvement of mixed models for OCR on historical documents.

Uwe Springmann, Florian Fink+1 more|arXiv (Cornell University)|Jun 16, 2016

Handwritten Text Recognition Techniques参考文献 9被引用数 9

ひとこと要約

本稿では、初期の混合モデルOCRシステムから得られる文字信頼度と語彙的妥当性スコアを活用して、新しい個別化されたOCRモデルの訓練を支援する、半自動的手法を提案する。最小限の正例として40～80行の手動補正済みデータのみを用いることで、文字誤り率が数パーセントにまで低下し、手動トランスクリプション作業の負担を著しく軽減するとともに、事前のタイプフェース固有モデリングなしで、多様な書体の多様性に対しても対応できる。

ABSTRACT

Good OCR results on historical documents rely on diplomatic transcriptions of printed material as ground truth which is both a scarce resource and time-consuming to generate. A strategy is proposed which starts from a mixed model trained on already available transcriptions from different centuries giving accuracies over 90% on a test set from the same period of time, overcoming the typography barrier of having to train individual models separately for each historical typeface. It is shown that both mean character confidence (as output by the OCR engine OCRopus) and lexicality (a measure of correctness of OCR tokens compared to a lexicon of modern wordforms taking historical spelling patterns into account, which can be calculated for any OCR engine) correlate with true accuracy determined from a comparison of OCR results with ground truth. These measures are then used to guide the training of new individual OCR models either using OCR prediction as pseudo ground truth (fully automatic method) or choosing a minimum set of hand-corrected lines as training material (manual method). Already 40-80 hand- corrected lines lead to OCR results with character error rates of only a few percent. This procedure minimizes the amount of ground truth production and does not depend on the previous construction of a specific typographic model.

研究の動機と目的

• 歴史的文書の正確なOCRシステムを訓練するための、貴重で高コストな外交的トランスクリプションの不足を是正すること。
• 各歴史的書体ごとに別々のモデルを必要とする制限を、混合モデルアプローチによって克服すること。
• 手動による正例生成の最小限化を図りながら、多様な歴史的書体で高いOCR精度を達成する手法を開発すること。
• OCRエンジンの出力（信頼度と語彙的妥当性）が、完全な正例が得られない状況でも、真のOCR精度を信頼性を持って予測できるかどうかを評価すること。

提案手法

• 複数の世紀にわたるトランスクリプションを用いて初期の混合モデルOCRシステムを訓練し、期間内テストセットで90%以上の精度を達成する。
• モデルの最適化段階で、OCRopusが生成する平均文字信頼度を、OCRの信頼性の代理指標として用いる。
• OCRのトークンを現代語形語彙と比較することで語彙的妥当性を算出し、歴史的表記の変異を考慮する。
• 信頼度と語彙的妥当性スコアを用いて、高品質なOCR予測結果を偽正例として選別し、新しい個別モデルの訓練に活用する。
• 手動による方法として、40～80行の手動補正済みラインのみを用いてモデルをファインチューニングすることで、広範な正例に依存するのを減らす。
• 信頼度と語彙的妥当性を用いて、完全自動および半自動の両方の訓練パイプラインを繰り返し改善する。

実験結果

リサーチクエスチョン

• RQ1 完全な正例が得られない状況でも、OCRエンジンが出力する文字信頼度と語彙的妥当性スコアが、真のOCR精度を信頼性を持って予測できるか。
• RQ2 OCR出力から得られる偽正例を用いることで、歴史的文書の個別モデル性能がどの程度向上するか。
• RQ3 歴史的テキストのOCRで、文字誤り率を低く抑えるために、どのくらいの手動補正ライン数が必要か。
• RQ4 1つの混合モデルOCRシステムが、異なる歴史的時代や書体にわたって十分に一般化できるか。
• RQ5 信頼度と語彙的妥当性の指標の組み合わせにより、OCR開発における広範な手動トランスクリプションの必要性をどの程度軽減できるか。

主な発見

• 平均文字信頼度と語彙的妥当性スコアは、真のOCR精度と強く相関しており、完全な正例がなくても信頼性のある品質評価が可能である。
• OCR予測結果を偽正例として用いることで、人為的介入を最小限に抑えつつ、モデル性能が顕著に向上する。
• 40～80行の手動補正済みラインのみで十分であり、新しいOCRモデルを訓練することで、文字誤り率が数パーセントにまで低下する。
• 本手法は書体の障壁を効果的に克服し、事前のタイプフェース固有モデリングなしで、多様な歴史的書体においても高い精度を達成できる。
• 大規模な外交的トランスクリプションの必要性が軽減されるため、歴史的文書のOCR開発がよりスケーラブルかつ効率的になる。