[論文レビュー] A human-inspired recognition system for premodern Japanese historical documents

Anh Duc Le, Tarin Clanuwat+1 more|arXiv (Cornell University)|May 14, 2019

Handwritten Text Recognition Techniques参考文献 14被引用数 4

ひとこと要約

本論文は、線画の開始を検出したり、文字を順次走査したり、草書体や連結書体を処理したりすることで、人間の読書を模倣する、人間のインスピレーションを受けて設計されたアテンションベースのエンコーダ・デコーダシステムを提案する。このシステムは、PRMU Kuzushijiコンペティションデータセットのレベル2で9.87%のシーケンス誤り率（SER）を達成し、レベル3では53.81%を記録した。これは、参加したすべてのシステムよりも優れた結果である。

ABSTRACT

Recognition of historical documents is a challenging problem due to the noised, damaged characters and background. However, in Japanese historical documents, not only contains the mentioned problems, pre-modern Japanese characters were written in cursive and are connected. Therefore, character segmentation based methods do not work well. This leads to the idea of creating a new recognition system. In this paper, we propose a human-inspired document reading system to recognize multiple lines of premodern Japanese historical documents. During the reading, people employ eyes movement to determine the start of a text line. Then, they move the eyes from the current character/word to the next character/word. They can also determine the end of a line or skip a figure to move to the next line. The eyes movement integrates with visual processing to operate the reading process in the brain. We employ attention-based encoder-decoder to implement this recognition system. First, the recognition system detects where to start a text line. Second, the system scans and recognize character by character until the text line is completed. Then, the system continues to detect the start of the next text line. This process is repeated until reading the whole document. We tested our human-inspired recognition system on the pre-modern Japanese historical document provide by the PRMU Kuzushiji competition. The results of the experiments demonstrate the superiority and effectiveness of our proposed system by achieving Sequence Error Rate of 9.87% and 53.81% on level 2 and level 3 of the dataset, respectively. These results outperform to any other systems participated in the PRMU Kuzushiji competition.

研究の動機と目的

• 従来のセグメンテーションベースの手法が失敗する、損傷を受けた歴史的文書における草書体でつながった前近代日本語の文字を認識する課題に対処すること。
• 人間の視線の動きや順次走査の行動を模倣することで、複雑な書体の認識を向上させる深層学習システムを構築すること。
• 事前のセグメンテーションなしに、ラインの開始を検出し、1行ずつテキストを処理し、長さが可変なラインを扱える、シーケンス・ツー・シーケンスの認識システムを開発すること。
• 人間の視覚的アテンションと順次処理を活用することで、PRMU Kuzushijiコンペティションで既存のシステムを上回ること。

提案手法

• システムは、ドキュメント画像をシーケンス・ツー・シーケンスの方法で処理する、アテンションベースのエンコーダ・デコーダアーキテクチャを用いる。
• まず、空間的アテンション機構を用いて、各テキストラインの開始位置を検出する。
• その後、モデルは人間の視線の動きを模倣するように、1文字ずつ順次走査しながら文字認識を行う。
• アテンション機構により、デコーダは各ステップで関連のある画像領域に注目でき、文脈認識が向上する。
• システムは1行ずつ処理し、ラインの終了を検出し、全ドキュメントが読み終わるまで次のラインに移行する。
• アーキテクチャは、誤り率を最小化するために、シーケンスレベルの損失関数を用いてKuzushijiデータセット上でエンド・ツー・エンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 人間の視覚的アテンションや視線の動きのパターンを模倣した認識システムは、草書体でつながった前近代日本語の書体の認識性能を向上させることができるか？
• RQ2 歴史的日本語文書において、順次的・ライン単位の処理は、エンド・ツー・エンドまたはセグメンテーションベースのアプローチと比較してどのように異なるか？
• RQ3 ノイズ、損傷、書体の変動が存在する状況下で、アテンション機構はどれほど認識精度を向上させることができるか？
• RQ4 人間の読書行動をモデル化することで、困難な歴史的文書ベンチマークでより良い汎化性能と低い誤り率が達成できるか？

主な発見

• 提案されたシステムは、Kuzushijiコンペティションデータセットのレベル2で9.87%のシーケンス誤り率（SER）を達成し、参加したすべてのシステムを上回った。
• レベル3では、SERが53.81%に達し、コンペティション参加者の中で最高の結果を記録した。
• 人間のインスピレーションを受けて設計されたアテンション機構により、文字セグメンテーションに依存せずに、草書体や連結文字の認識が安定して可能になった。
• システムの性能は、人間のような順次走査とライン検出のモデル化の有効性を示している。
• 結果から、視覚的変動が著しい複雑な歴史的書体に対して、アテンションベースのシーケンスモデリングが極めて有効であることが確認された。
• このシステムのアーキテクチャは、前近代日本語手稿に見られるさまざまなドキュメント品質や書体スタイルにうまく一般化できることが示された。