[論文レビュー] KuroNet: Pre-Modern Japanese Kuzushiji Character Recognition with Deep Learning

Tarin Clanuwat, Alex Lamb+1 more|arXiv (Cornell University)|Oct 21, 2019

Handwritten Text Recognition Techniques参考文献 17被引用数 8

ひとこと要約

KuroNet は、前処理を一切行わずに、一枚のページ全体に対して文字の位置と識別を同時に予測する残差 U-Net アーキテクチャを用いた深層学習モデルであり、古文書の楷書文字（くずしじ）をエンドツーエンドで認識する。最先端の性能を達成しており、評価対象となった本の56%が F1 スコア80%以上、15%が90%以上を記録し、複雑なレイアウトや大規模語彙に対しても、従来手法を著しく上回っている。

ABSTRACT

Kuzushiji, a cursive writing style, had been used in Japan for over a thousand years starting from the 8th century. Over 3 millions books on a diverse array of topics, such as literature, science, mathematics and even cooking are preserved. However, following a change to the Japanese writing system in 1900, Kuzushiji has not been included in regular school curricula. Therefore, most Japanese natives nowadays cannot read books written or printed just 150 years ago. Museums and libraries have invested a great deal of effort into creating digital copies of these historical documents as a safeguard against fires, earthquakes and tsunamis. The result has been datasets with hundreds of millions of photographs of historical documents which can only be read by a small number of specially trained experts. Thus there has been a great deal of interest in using Machine Learning to automatically recognize these historical texts and transcribe them into modern Japanese characters. Nevertheless, several challenges in Kuzushiji recognition have made the performance of existing systems extremely poor. To tackle these challenges, we propose KuroNet, a new end-to-end model which jointly recognizes an entire page of text by using a residual U-Net architecture which predicts the location and identity of all characters given a page of text (without any pre-processing). This allows the model to handle long range context, large vocabularies, and non-standardized character layouts. We demonstrate that our system is able to successfully recognize a large fraction of pre-modern Japanese documents, but also explore areas where our system is limited and suggest directions for future work.

研究の動機と目的

• 書体の陳腐化により現代の日本語話者にはほとんど読めない古文書の楷書文字を認識するという課題に対処すること。
• 既存のシステムに見られる、大規模語彙の処理が不十分であること、標準化されていないレイアウトへの対処が不十分であること、長距離の文脈的依存関係の把握が困難であることといった制限を克服すること。
• 前処理や逐次的文字認識に依存せず、一枚のページ全体をエンドツーエンドで認識できる堅牢なモデルを開発すること。
• 自動的に現代日本語に変換可能な技術を提供することで、歴史的日本語文書のアクセシビリティを向上させること。
• 今後の楷書文字認識分野における主な失敗モードと未解決の課題を特定すること。

提案手法

• KuroNet は、全ページ画像上で各文字の空間的位置と識別を同時に予測する残差 U-Net アーキテクチャを採用している。
• モデルは、文字検出と分類の両方を同時に最適化するマルチタスク損失関数を用いて学習され、正例として真値のバウンディングボックスとラベルがピクセル単位で与えられる。
• 各空間位置 $ (i,j) $ における $ p(y_{ij}|c_{ij},x) $ の確率分布を、$ y_{ij} $ が文字ラベルで $ c_{ij} $ が特徴表現である多項分布としてモデル化している。
• スカイプ接続と残差ブロックを用いることで、空間的詳細の保持と学習中の勾配の流れの改善が図られている。
• モデルはエンドツーエンドで全ページ画像上で学習され、ページ全体にわたる長距離の文脈的関係を捉えることができる。
• 一般化性能と耐障害性を向上させるために、訓練中に mixup を用いた正則化が適用されている。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、前処理や逐次的モデリングに依存せずに、高精度なエンドツーエンドの楷書文字認識を達成できるか？
• RQ2 テキストが図版の周囲に囲まれたり、フォントサイズが不均一な複雑なレイアウトを含むページでは、モデルの性能はいかがなものか？
• RQ3 主な失敗モードは何か、特に大きな文字や視覚的に類似した漢字に対しては？
• RQ4 1643年以前の文書、特に学習データセットに含まれる最も古い書籍（1643年）以前のものに対して、モデルはどの程度一般化できるか？
• RQ5 半教師あり学習技術は、膨大な量のラベルなし歴史的文書を有効に活用するために効果的に適用可能か？

主な発見

• 27冊の本のホールドアウトページにおいて、56%の本が F1 スコア 80%〜90% の間、15%が 90%〜100% の間を記録した。
• 『伊勢物語大成』（1697年）のページでは F1 スコア 0.8824 を達成し、複雑な図版付きレイアウトに対しても優れた性能を示した。
• 見出しページの非常に大きな文字に対しては、そのレアリティと視覚的インパクトの高さから、検出や識別に失敗することが多い。
• 本体本文と視覚的に類似しているが、絶対的サイズが小さい見出しページのアノテーションは、頻繁に本体本文として誤分類される。
• 視覚的に類似しているが誤った漢字を予測することがあり、微細な識別能力に課題があることが示された。
• 1643年以前の文書に対しては性能が著しく低いことが判明し、より良い一般化のためには、初期期のデータが必要である可能性が示唆された。