[論文レビュー] Continuous Offline Handwriting Recognition using Deep Learning Models

Jorge Sueiras|arXiv (Cornell University)|Dec 26, 2021

Handwritten Text Recognition Techniques被引用数 8

ひとこと要約

本論文は、特徴抽出のための畳み込みニューラルネットワーク（CNN）と、順序付き変換のための系列対系列（seq2seq）モデルを統合することで、連続的でオフラインの手書き文字認識（HTR）のための新しい深層学習モデルを提案する。この手法は、標準的なベンチマークにおいて英語、フランス語、スペイン語の複数の言語で競争力ある性能を達成し、頑健性と一般化能力を示しており、seq2seqに基づくHTRシステムにおける新たな研究分野を切り開く。

ABSTRACT

Handwritten text recognition is an open problem of great interest in the area of automatic document image analysis. The transcription of handwritten content present in digitized documents is significant in analyzing historical archives or digitizing information from handwritten documents, forms, and communications. In the last years, great advances have been made in this area due to applying deep learning techniques to its resolution. This Thesis addresses the offline continuous handwritten text recognition (HTR) problem, consisting of developing algorithms and models capable of transcribing the text present in an image without the need for the text to be segmented into characters. For this purpose, we have proposed a new recognition model based on integrating two types of deep learning architectures: convolutional neural networks (CNN) and sequence-to-sequence (seq2seq) models, respectively. The convolutional component of the model is oriented to identify relevant features present in characters, and the seq2seq component builds the transcription of the text by modeling the sequential nature of the text. For the design of this new model, an extensive analysis of the capabilities of different convolutional architectures in the simplified problem of isolated character recognition has been carried out in order to identify the most suitable ones to be integrated into the continuous model. Additionally, extensive experimentation of the proposed model for the continuous problem has been carried out to determine its robustness to changes in parameterization. The generalization capacity of the model has also been validated by evaluating it on three handwritten text databases using different languages: IAM in English, RIMES in French, and Osborne in Spanish, respectively. The new proposed model provides competitive results with those obtained with other well-established methodologies.

研究の動機と目的

• 単一の画像から事前に文字単位に分割することなく、連続的な手書きテキストを変換できる深層学習モデルの開発。
• 空間的特徴抽出のためのCNNと、手書きの系列的依存関係をモデル化するためのseq2seqアーキテクチャの統合に関する調査。
• 多様な手書きテキストデータベースを用いた、複数言語におけるモデルの一般化能力の評価。
• データ前処理、正規化、拡張処理が連続的HTRにおけるモデル性能に与える影響の調査。
• 主に訓練データとテストデータの間のデータ分布のずれやデータ不足に起因する、現在のHTRシステムの限界の特定と解決策の検討。

提案手法

• 手書き画像からの空間的特徴抽出のための畳み込みニューラルネットワーク（CNN）モジュールと、変換テキストの生成のための系列対系列（seq2seq）デコーダーを統合する。
• 連続的HTRモデルに統合する前に、最適なCNNアーキテクチャの特定を目的とした、分離文字認識における広範な実験を実施する。
• ノイズ除去、傾き・傾き補正、上付き・下付きの文字の正規化、画像のクロップ・リサイズなどの画像前処理手順を適用する。
• モデルの頑健性と一般化能力を向上させるために、弾性歪みなどのデータ拡張技術を用いる。
• 一般化能力の評価のため、複数のデータベース（IAM、RIMES、Osborne）を用いた交差検証を実施する。
• 単語レベルおよび行レベルの変換をテストし、今後は比較的分析のための行レベルベンチマークへの評価拡張を計画する。

実験結果

リサーチクエスチョン

• RQ1 文字単位の分割なしに連続的で手書きのテキストを認識する際、ハイブリッドCNN-seq2seqアーキテクチャはどの程度効果的か？
• RQ2 分離文字認識において最も優れた性能を示す畳み込みアーキテクチャは何か？ また、それらは連続的HTRに効果的に転送可能か？
• RQ3 データ正規化とデータ拡張処理の相互作用は、HTRモデルの正確性と頑健性を向上させるためにどのように働くか？
• RQ4 提案されたモデルは、画像特性が異なる多様な言語および手書きデータベースに対して、どの程度一般化可能か？
• RQ5 デコーダー内にRNNベースの言語モデルを統合することで、後処理の言語モデルと比較して性能が向上するか？

主な発見

• 提案されたCNN-seq2seqモデルは、IAM（英語）、RIMES（フランス語）、Osborne（スペイン語）データベースで競争力ある結果を達成し、多言語間での一般化能力が顕著に示された。
• 分離文字認識の広範な分析を通じて、連続的HTRモデルに統合するのに最適なCNNアーキテクチャの特定に成功した。
• データ拡張と正規化はモデルの正確性を顕著に向上させるが、正規化された特徴を保持するための相互作用の最適化が今後さらに必要である。
• ハイパーパramータの変更に対してもモデルの頑健性が保たれていることから、異なる学習設定においても安定性が確認された。
• 予備的な結果から、手書き風フォントを用いた合成データ生成は、HTRにおけるデータ不足問題に対処する上で極めて有望なアプローチであると示唆された。
• モデルは、最小限のアーキテクチャ的変更で、非ラテン文字や右から左への書字システムに対しても適応可能である。