[論文レビュー] System Description of CITlab's Recognition & Retrieval Engine for ICDAR2017 Competition on Information Extraction in Historical Handwritten Records.

Tobias Strauß, Max Weidemann+4 more|arXiv (Cornell University)|Apr 26, 2018

Handwritten Text Recognition Techniques参考文献 5被引用数 5

ひとこと要約

本論文は、ICDAR2017 コンペティションにおいて、17世紀の手書きの婚姻記録を対象とした深層学習ベースの認識・検索システムを提示する。CNN-BLSTMアーキテクチャにCTC損失を適用したテキスト認識の後、手動で設計された正規表現と言語的事前知識を用いて構造化されたデータ（例：名前、場所）を抽出し、高い正確性を達成した。夫の名前の文字誤り率は96.17%、妻の名前の文字誤り率は98.49%を記録した。

ABSTRACT

We present a recognition and retrieval system for the ICDAR2017 Competition on Information Extraction in Historical Handwritten Records which successfully infers person names and other data from marriage records. The system extracts information from the line images with a high accuracy and outperforms the baseline. The optical model is based on Neural Networks. To infer the desired information, regular expressions are used to describe the set of feasible words sequences.

研究の動機と目的

• 限られたラベル付き学習データにおける歴史的手書き文書からの情報抽出を可能にする堅牢なシステムの開発。
• 初期近代スペイン語の手書き文書における語彙的多様性と表記の不一致という課題への対処。
• ライン単位の画像から人物固有のメタデータ（例：名前、姓、場所）を高精度に認識すること。
• 深層学習によるシーケンス認識と、正規表現および語彙的事前知識を用いた構造的ルールベースのデコードを組み合わせることの有効性の実証。

提案手法

• バッチ正規化とドロップアウトを備えたCNN-BLSTMニューラルネットワークを、CTC損失を用いてシーケンス対シーケンスのテキスト認識のために前処理済みのライン画像で学習する。
• 画像はコントラスト強調、サイズ正規化、特許取得済みの筆記法正規化処理を経て処理され、ラインの高さを96pxに中央揃え・標準化する。
• ネットワークの出力確率行列は2段階のプロセスでデコードされる：まず正規表現で記録を領域（例：夫、妻）に分割し、次に語彙的事前知識を用いて各人物ごとのシーケンスをサブオートマトンで検証する。
• 文字レベルの事前知識は、学習データからの相対的な語の頻度を用いて推定され、未知語彙の語は各位置の文字確率によって処理される。
• 最終的なデコードシーケンスは、ニューラルネットワークの信頼度とシーケンスの事前確率の積を最大化するように選ばれ、部分語頻度を用いて近似される。
• 名前、姓、職業、場所の語彙のサブオートマトンを備えたカスタムオートマトンを用いてデコードをガイドし、信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層学習とルールベースの正規表現を組み合わせたハイブリッドシステムは、ノイズが多く、歴史的で手書きの文書から構造化されたメタデータを高精度に抽出できるか？
• RQ2 語彙的事前知識および文字レベルの言語モデルは、初期近代スペイン語の手書きにおいてまれまたは多様な形で現れる語の認識をどの程度向上できるか？
• RQ3 手動で設計された正規表現はスケーラビリティにどの程度制限を及えるか。これは、自動的または学習可能なパターン発見によって緩和可能か？
• RQ4 姓や名の言語的変異は認識性能にどの程度影響を及えるか。構造的デコードは誤り伝搬をどの程度軽減できるか？

主な発見

• 夫の名前の文字誤り率（CER）は96.17%であり、個人識別子の認識において高い正確性を示した。
• 妻の名前はCER 98.49%で認識され、他のほとんどのカテゴリーよりも優れた性能を示し、構造が整った入力に対して強い性能を発揮した。
• 妻の姓（CER 36.57%）や妻の母の名前（CER 0）のようなカテゴリでは困難を示したが、これはトレーニングデータに不足しており、正規表現でも適切にモデル化されていなかったためである。
• 夫の母の名前や他の人物の状態（CER 0）についても、認識が不十分であった。これは、トレーニングセットに存在しないか、一貫性のない表現が使われていたためである。
• 手動で作成された正規表現に依存するため、頻度が低いか、不規則なフォーマットのフィールドでは性能が制限された。これはパイプラインにおける主要なボトルネックを示している。
• これらの制限にもかかわらず、全体としてのアプローチはコアなフィールドにおいて強力な性能を示した。最良のシステムでは総合スコア91.56を達成し、単語レベルのベースラインにわずかに劣るが、依然として非常に競争力のある結果であった。