[論文レビュー] A Tool for Facilitating OCR Postediting in Historical Documents

Alberto Poncelas, Mohammad Aboomar+3 more|arXiv (Cornell University)|Apr 23, 2020

Handwritten Text Recognition Techniques参考文献 17被引用数 5

ひとこと要約

本論文は、言語モデルスコアと文字列類似度を活用して、語彙外語の修正を提案することで、歴史的文書における一般的なOCR誤りを自動で是正する後処理ツールを提示する。18世紀のテキストを対象にテストしたところ、63%の誤りが是正され、特に「f」と「s」の混同に関する誤りが顕著に是正された。同時に、人間によるレビューを損なわない透明性を維持した。

ABSTRACT

Optical character recognition (OCR) for historical documents is a complex procedure subject to a unique set of material issues, including inconsistencies in typefaces and low quality scanning. Consequently, even the most sophisticated OCR engines produce errors. This paper reports on a tool built for postediting the output of Tesseract, more specifically for correcting common errors in digitized historical documents. The proposed tool suggests alternatives for word forms not found in a specified vocabulary. The assumed error is replaced by a presumably correct alternative in the post-edition based on the scores of a Language Model (LM). The tool is tested on a chapter of the book An Essay Towards Regulating the Trade and Employing the Poor of this Kingdom (Cary ,1719). As demonstrated below, the tool is successful in correcting a number of common errors. If sometimes unreliable, it is also transparent and subject to human intervention.

研究の動機と目的

• OCR処理済みの歴史的文書における手作業による後処理作業を軽減することを目的とし、頻出するOCR誤りの自動是正を実現する。
• 18世紀以前の文書における古風な活字、不規則な綴り、印刷品質の劣化によるOCR精度の低下という課題に対処することを目的とする。
• 言語的妥当性と文脈に基づいた是正案を提示する、透明性があり人間が関与するシステムを提供することを目的とする。
• OCRによる誤認識に起因するノイズを低減させることで、デジタル化された歴史的文書の信頼性と利用可能性を向上させることを目的とする。
• オープンソースで言語モデルを活用した是正手法を用いて、スケーラブルかつ繰り返し可能な歴史的文書の後処理を可能とすることを目的とする。

提案手法

• 事前に定義された語彙に存在しない語を、潜在的なOCR誤りとして特定する。
• 各認識不能語について、文字列類似度（例：レーベンシュタイン距離）を用いて妥当な代替語候補を生成する。
• 各候補語を文脈内で評価し、訓練済み言語モデルを用いて文法的・語彙的妥当性のスコアを付与する。
• 最も高いスコアを示した候補語を置換案として提示し、元の語と提案された語を両方保持して人間によるレビューを可能にする。
• システムはPDFを入力とし、Tesseract OCRを用いてテキストを抽出し、bashスクリプト `ocr_and_postprocess.sh` を通じて後処理を実行する。
• 将来的に文字誤認識の自動検出や時代別言語モデルとの統合が可能な拡張性を備えた設計である。

実験結果

リサーチクエスチョン

• RQ1 言語モデル駆動で文字列類似度を用いたシステムは、歴史的文書における一般的なOCR誤りを効果的に是正できるか？
• RQ2 自動後処理は、OCR処理済みの初期近代英語テキストにおける手作業是正作業をどの程度軽減できるか？
• RQ3 言語モデルによるスコアリングを用いた文脈認識是正は、妥当な語の置換と誤った置換をどの程度正確に区別できるか？
• RQ4 曖昧な、あるいは極めて不規則なOCR誤りに直面した場合、このようなシステムの限界は何か？
• RQ5 このツールは、非語彙語の誤りを検出し是正できるよう変更可能か？また、人間の監視を維持した透明性は保てるか？

主な発見

• テストコーパスとして18世紀のテキストを用いたところ、63%のOCR誤りが是正され、一般的な誤りタイプに対して優れた性能を示した。
• 66%の行に少なくとも1つの是正が含まれており、1行あたり最大3件の是正が行われた。これは誤りの広範なカバーを示している。
• 「f」と「s」の誤認識に関する頻出誤り、例えば「fuch」→「such」や「faid」→「said」なども、効果的に是正された。
• 「timeas」のような曖昧なケースでは、言語モデルスコアに基づき「times」が提案されたが、人間によるレビューが不可欠であった。これは透明性の重要性を示している。
• 「fignification」のような複雑または希少語では是正が行われず、また「Deputy-Governor」→「Ex-Governor」のような誤った置換も一部で発生した。
• 特に「shall」のような高頻度関係語における語頭および語中誤りに対して、システムは効果的に是正を実行した。