[論文レビュー] Joint Layout Analysis, Character Detection and Recognition for Historical Document Digitization

Weihong Ma, Hesuo Zhang+4 more|arXiv (Cornell University)|Jul 14, 2020

Handwritten Text Recognition Techniques参考文献 28被引用数 4

ひとこと要約

本稿では、二重ブランチネットワークを用いて、レイアウト解析、文字検出、認識を同時に実行するエンド・ツー・エンドで共同で学習可能なフレームワークを提案する。文字ブランチは個々の文字の検出と認識を、レイアウトブランチは完全畳み込みネットワーク（FCN）を用いてHoughベースのライン検出用のバイナリマスクを生成する。この手法は拡張されたMTHv2データセットにおいて最先端の性能を達成し、レイアウト解析で98.60%のFスコア、言語モデルを活用した再スコアリング機構を用いた認識正答率で96.07%を達成した。

ABSTRACT

In this paper, we propose an end-to-end trainable framework for restoring historical documents content that follows the correct reading order. In this framework, two branches named character branch and layout branch are added behind the feature extraction network. The character branch localizes individual characters in a document image and recognizes them simultaneously. Then we adopt a post-processing method to group them into text lines. The layout branch based on fully convolutional network outputs a binary mask. We then use Hough transform for line detection on the binary mask and combine character results with the layout information to restore document content. These two branches can be trained in parallel and are easy to train. Furthermore, we propose a re-score mechanism to minimize recognition error. Experiment results on the extended Chinese historical document MTHv2 dataset demonstrate the effectiveness of the proposed framework.

研究の動機と目的

• 従来の分離型パイプライン手法が、劣化した複雑なレイアウトを有する文書に対して誤差の蓄積や低耐性を示すという限界を是正する。
• レイアウト解析、文字検出、認識を統合したエンド・ツー・エンドで学習可能なフレームワークを開発し、精度の向上と処理の簡素化を実現する。
• 再スコアリング機構を通じて言語モデルの暗黙的知識を活用することで、損傷を受けた歴史的文書における認識の耐性を向上させる。
• 拡張され、完全にアノテーションが付与された中国歴史的文書データセット（MTHv2）を公開することで、今後の研究を促進する。

提案手法

• マルチスケール特徴を生成するため、特徴抽出バックボーン（ResNet-50）に特徴ピラミッドネットワーク（FPN）を組み合わせる。
• 文字ブランチはインスタンスレベルの検出と分類を実行し、個々の文字のバウンディングボックスとクラスラベルを出力する。
• レイアウトブランチは完全畳み込みネットワーク（FCN）を用いて、テキスト領域を示すバイナリマスクを予測し、その後Hough変換を適用してライン検出を実行する。
• 後処理では、空間的近接性とレイアウト構造に基づいて検出された文字をテキストラインにグループ化し、正しい読み順序（右から左、上から下）を保証する。
• 再スコアリング機構は、文字レベルとテキストラインレベルのモデル予測を統合し、言語モデルの事前知識を用いて認識誤りを是正し、耐性を向上させる。
• フレームワーク全体はエンド・ツー・エンドで学習され、両ブランチの並列最適化により、レイアウトと認識タスクの共同学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのフレームワークが、レイアウト解析、文字検出、認識を統合的に最適化することで、歴史的文書デジタル化における誤差伝搬を低減できるか？
• RQ2 FCNベースのレイアウト検出は、投影プロファイル分析のような従来のハンドクラフト手法と比較して、複雑な背景や多様なレイアウトに対しどのように優位性を示すか？
• RQ3 言語モデルを活用する再スコアリング機構が、劣化した歴史的文書における認識精度をどの程度向上できるか？
• RQ4 特にマルチカラムレイアウトにおいて、文字レベルの検出と認識が、シーケンスベースの手法を上回り、正しい読み順序を保つことができるか？

主な発見

• 提案フレームワークはMTHv2データセットにおいてレイアウト解析で98.60%のFスコアを達成し、投影プロファイル分析（78.17% Fスコア）を顕著に上回った。
• FCNベースのレイアウトブランチは97.77%の精度と99.44%の再現率を達成し、複雑な背景や多様なレイアウトに対しても優れた耐性を示した。
• 文字ベースの方法によるテキストライン検出はIoU=0.5で97.72%のH-meanを達成し、従来手法およびEASTやMask R-CNNなどのモデルを上回った。
• 再スコアリング機構により、テキストラインモデル（95.09%正答率）および文字モデル（94.63%正答率）のそれぞれから得られた正答率が96.07%に向上し、二つの認識ストリーム間の強い相乗効果が確認された。
• フレームワークは95.52%の正確性（AR）を達成し、正しい読み順序で文書を再構築するうえで高い信頼性を示した。
• 拡張されたMTHv2データセットは、現在公開されており、レイアウト、文字、テキストラインの詳細なアノテーションを備えており、中国歴史的文書解析分野における今後の研究を支援する。