[論文レビュー] Classification of Documents Extracted from Images with Optical Character Recognition Methods

Ömer Aydın|arXiv (Cornell University)|Jun 15, 2021

Handwritten Text Recognition Techniques被引用数 7

ひとこと要約

本論文では、スキャン済みまたは写真撮影された文書を分類するため、光学式文字認識（OCR）とナイーブベイズアルゴリズムを組み合わせたハイブリッド文書分類システムを提案する。C#を用いてWindows上でのVisual Studioで開発され、2種類のOCR技術を用いて画像を処理し、テキストを抽出して、高い正確性で事前に定義されたカテゴリに分類する。実世界の応用における自動文書処理の実現可能性を示している。

ABSTRACT

Over the past decade, machine learning methods have given us driverless cars, voice recognition, effective web search, and a much better understanding of the human genome. Machine learning is so common today that it is used dozens of times a day, possibly unknowingly. Trying to teach a machine some processes or some situations can make them predict some results that are difficult to predict by the human brain. These methods also help us do some operations that are often impossible or difficult to do with human activities in a short time. For these reasons, machine learning is so important today. In this study, two different machine learning methods were combined. In order to solve a real-world problem, the manuscript documents were first transferred to the computer and then classified. We used three basic methods to realize the whole process. Handwriting or printed documents have been digitalized by a scanner or digital camera. These documents have been processed with two different Optical Character Recognition (OCR) operation. After that generated texts are classified by using Naive Bayes algorithm. All project was programmed in Microsoft Visual Studio 12 platform on Windows operating system. C# programming language was used for all parts of the study. Also, some prepared codes and DLLs were used.

研究の動機と目的

• 画像から抽出された手書きおよび印刷済み文書を分類する自動システムの開発。
• OCRおよび機械学習を用いて、品質やレイアウトが異なる実世界の文書画像を処理する課題に対処すること。
• 複数のOCR手法と確率的分類器を組み合わせることで、分類正確性を向上させる有効性を評価すること。
• 文書のデジタル化および分類に向けた、アクセス可能なツールとプログラミング環境を用いた実用的でエンドツーエンドのソリューションの実装。

提案手法

• スキャン済みまたはデジタルでキャプチャされた文書画像を、2種類の異なる光学式文字認識（OCR）手法を用いて処理し、テキストコンテンツを抽出した。
• 画像から抽出されたテキストを前処理および正規化し、分類のための入力品質を向上させた。
• 抽出されたテキストを、確率的特徴重み付けに基づいて事前に定義された文書カテゴリに分類するために、ナイーブベイズアルゴリズムを適用した。
• パイプライン全体を、Windowsプラットフォーム上でMicrosoft Visual Studioを用いてC#で実装した。
• OCR機能およびテキスト処理を支援するため、サードパーティ製のライブラリ（DLL）およびコードモジュールを統合した。
• システムは、手書き文書のデータセットを用いて訓練および評価され、標準的な分類指標を用いて性能が測定された。

実験結果

リサーチクエスチョン

• RQ1 2つのOCRアプローチは、文書画像からのテキスト抽出正確性を向上させるのにどの程度効果的か？
• RQ2 ナイーブベイズ分類器は、OCRで抽出されたテキストに基づいて文書タイプを信頼性高く分類できるか？
• RQ3 複数のOCR技術を組み合わせることで、全体の分類パフォーマンスにどのような影響を与えるか？
• RQ4 C#およびVisual Studioのような標準的な開発ツールを用いた、このようなシステムの実装はどの程度現実的か？
• RQ5 画像の品質が、分類パイプラインの正確性にどの程度影響を与えるか？

主な発見

• 2重OCRアプローチにより、低品質またはノイズの多い文書画像に対してもテキスト抽出の信頼性が向上した。
• テストデータセットにおいて、ナイーブベイズ分類器は高い分類正確性を達成し、文書タイプ認識に有効であることが示された。
• C#ベースの環境でOCRと機械学習を統合することで、機能的でデプロイ可能な文書分類システムの実現が可能になった。
• 既存のDLLおよびライブラリの使用により、開発時間と複雑さが顕著に短縮された。
• 最小限の前処理で、印刷済みおよび手書きの両方の文書を処理するのに、システムは頑健であった。
• 本研究は、OCRと確率的分類を組み合わせることが、実世界のシナリオにおける自動文書処理の実現可能なソリューションであることを確認した。