[論文レビュー] Transformer-based HTR for Historical Documents

Phillip Ströbel, Simon Clematide+2 more|arXiv (Cornell University)|Mar 21, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、手書き文字認識（HTR）のための事前学習済みTrOCRモデル——視覚および言語のトランスフォーマー・アーキテクチャ——をルネサンス期のラテン語手書き文書に微調整することを提案する。Pre-training 時にラテン語や歴史的書体を一切経験していないにもかかわらず、TrOCR LARGE はルドルフ・ガウルターの詩に対して2.55%のCERを達成し、ハイネリヒ・ブルンガーの書簡に対しては16.53%のCERを記録した。これは、多著者データセットにおいて強力なHTR+ベースラインを4.6ポイント上回り、未学習の書体スタイルや言語に対しても強力なゼロショット転送性を示している。

ABSTRACT

We apply the TrOCR framework to real-world, historical manuscripts and show that TrOCR per se is a strong model, ideal for transfer learning. TrOCR has been trained on English only, but it can adapt to other languages that use the Latin alphabet fairly easily and with little training material. We compare TrOCR against a SOTA HTR framework (Transkribus) and show that it can beat such systems. This finding is essential since Transkribus performs best when it has access to baseline information, which is not needed at all to fine-tune TrOCR.

研究の動機と目的

• 事前学習済みTrOCRモデル（英語の印刷体および合成手書き文字で学習済み）が、低リソースで歴史的に多様なラテン語手書き文書に一般化できるかどうかを評価すること。
• TrOCRが、ラテン語や歴史的書体に事前接触がない状態でも、ルネサンス期の文書に対して高いHTR性能を達成できるかどうかを評価すること。
• 単一著者および多著者文書コレクションの両方において、TrOCRの性能を強力なHTR+ベースラインと比較すること。
• デジタル・ヒューマニティーズ分野における多様で不均一な文書コレクションに、TrOCRが強力で転送可能なHTRモデルとしての可能性を調査すること。

提案手法

• 2つのラテン語文書データセット（16世紀のルドルフ・ガウルターの詩集から4,037行、ハイネリヒ・ブルンガーの書簡から16,584行）に対して、TrOCR BASEおよびTrOCR LARGEモデルを微調整した。
• TrOCRの事前学習済み視覚エンコーダー（BEiT）とRoBERTaベースのデコーダーを用い、ImageNet-1Kでの事前学習を初期化として、文書画像と転写文の微調整を実施した。
• スキャン済み文書から線単位の画像-テキスト対応を抽出するために、Transkribusを用いてデータ拡張およびレイアウト解析を実施した。
• Gwaltherデータセットでは最大50エポック、Bullingerデータセットでは最大20エポックでモデルを学習し、早期停止と検証監視を適用した。
• 検証およびテストセットにおける文字誤り率（CER）を用いて性能を評価し、TrOCRとHTR+ベースラインを比較した。
• Gwalther用に3,603/433の分割、Bullinger用に13,843/1,685/1,056の分割を用い、評価の堅牢性を確保した。

実験結果

リサーチクエスチョン

• RQ1 TrOCRは、ラテン語や歴史的書体に事前学習していないにもかかわらず、ラテン語文書に一般化できるか？
• RQ2 TrOCRは、低リソースで多著者の文書コレクションにおいて、HTR+のような既存のHTRモデルを上回る性能を示せるか？
• RQ3 微調整期間が、多様な書体スタイルを有する歴史的書体認識に与える影響は何か？
• RQ4 従来のHTRモデルとは異なり、基本情報がなくてもTrOCRは高い性能を達成できるか？
• RQ5 より大きなTrOCR LARGEアーキテクチャは、多様な文書データに対して一貫してTrOCR BASEを上回る性能を示すか？

主な発見

• ルドルフ・ガウルターの詩の検証セットにおいて、TrOCR LARGEは2.55%のCERを達成し、HTR+ベースラインの2.74%を0.19ポイント上回った。
• 多著者データセットとしてのハイネリヒ・ブルンガーの書簡のテストセットでは、TrOCR LARGEは16.53%のCERを記録し、HTR+ベースラインの21.13%を4.60ポイント上回った。
• TrOCR LARGEは、微調整期間が長くなるほど一貫した改善を示し、Gwaltherデータでは15エポックでピークに達し、CERが2.55%にまで低下した。
• TrOCR BASEは10エポックを超えると性能が低下し、このデータに対して過学習または最適でない学習ダイナミクスが生じた可能性が示唆された。
• ラテン語やルネサンス期の手書き文字に事前接触がなかったにもかかわらず、TrOCR LARGEは単一著者および多著者文書コレクションの両方に対して効果的に一般化した。
• これらの結果から、TrOCRは新しい言語や書体スタイルに対してもゼロショット適応が可能な、非常に転送性の高いHTRモデルであると示唆された。