[論文レビュー] StackMix and Blot Augmentations for Handwritten Text Recognition

Alex Shonenkov, Denis Karachev+3 more|arXiv (Cornell University)|Aug 26, 2021

Handwritten Text Recognition Techniques参考文献 24被引用数 11

ひとこと要約

この論文は、IAM、Bentham、Saint Gall、Digital Peter、HKRを含む複数のベンチマークデータセットにおいて、最先端のモデルを上回る性能を示す、新しい手書き文字認識（HTR）システムを提案する。この手法は、空間分解能を保持するように変更されたResNet-34バックボーンと、2つのデータ拡張技術—ストライクスルーテキストを模倣するためのHandwritten Blotsと、印刷体と手書きテキストを混合して合成学習サンプルを生成するStackMix—を組み合わせており、BenthamR0では1.73%の新しいSOTA CERを達成し、Saint Gallでは3.65%を記録した。

ABSTRACT

This paper proposes a handwritten text recognition(HTR) system that outperforms current state-of-the-artmethods. The comparison was carried out on three of themost frequently used in HTR task datasets, namely Ben-tham, IAM, and Saint Gall. In addition, the results on tworecently presented datasets, Peter the Greats manuscriptsand HKR Dataset, are provided.The paper describes the architecture of the neural net-work and two ways of increasing the volume of train-ing data: augmentation that simulates strikethrough text(HandWritten Blots) and a new text generation method(StackMix), which proved to be very effective in HTR tasks.StackMix can also be applied to the standalone task of gen-erating handwritten text based on printed text.

研究の動機と目的

• 専門家によるアノテーションが高コストかつ時間のかかる歴史的手書き文書認識において、ラベル付きデータの不足という課題に対処すること。
• 訓練データの多様性と耐性を高めることで、リソースが限られた歴史的で多様な手書きスタイルのデータセットにおける認識精度を向上させること。
• 大規模な歴史的手書き文書を効率的に処理できるスケーラブルなHTRシステムの開発により、手作業による解読に依存するのを減らすこと。
• 追加のアノテーションを必要とせず、現実の手書き欠陊を模倣するデータ拡張技術を導入し、モデルの汎化性能を向上させること。
• 最近の特殊なデータセット（ピョートル大帝の手紙など）やHKRを含む、複数のベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 空間分解能を保持するために最初の層にストライド1の畳み込みを採用した変更版ResNet-34アーキテクチャを採用し、その後にAdaptiveAvgPool2dと3層のBiLSTMを用いて系列モデリングを行う。
• Handwritten Blots—手書きの線に現実的なインクのぼかしアーティファクトを適用することでストライクスルー効果を模倣するデータ拡張手法—を導入し、インク欠陊に対する耐性を高める。
• StackMix—学習済みの混合戦略を用いて印刷体テキストと手書き画像をブレンドすることで合成学習サンプルを生成する、新しい拡張技術—を提案し、訓練データの多様性を効果的に向上させる。
• CTC損失を用いてエンドツーエンドのシーケンス・ツー・シーケンス学習を実行し、直接的に転写精度の最適化を可能にする。
• 128×2048ピクセルの画像を1行単位で処理するラインレベル認識設定を採用し、標準指標（CER、WER、正答率）を用いて評価する。
• 特にIAMでは複数のデータ分割が存在するため、過去の研究と公平に比較できるよう、実験全体で一貫したデータ分割を採用する。

実験結果

リサーチクエスチョン

• RQ1 StackMix や Handwritten Blots のような合成データ拡張技術は、リソースが限られた歴史的手書きデータセットにおけるHTR性能を顕著に向上させることができるか？
• RQ2 StackMix と Handwritten Blots の組み合わせは、標準的なデータ拡張やベースラインモデルと比較して、多様なデータセットにおけるCERおよびWERの観点で優れているか？
• RQ3 提案されたシステムは、最小限のラベル付きデータで大規模な歴史的手書き文書に対して高精度な推論を可能にすることで、手作業によるアノテーションコストをどれほど削減できるか？
• RQ4 IAM、Bentham、Saint Gallで示されるように、現代的および歴史的書体を含む多様な手書きスタイルや言語に対し、モデルは十分に汎化できるか？
• RQ5 特に訓練時に複雑な拡張処理を適用する場合、提案されたシステムの推論速度は、既存のモデルと比較してどの程度か？

主な発見

• 提案モデルはBenthamR0データセットで1.73% ± 0.02の新しいSOTA CERを達成し、先行研究（例：[11]における3.98%）を著しく上回り、2016年のSOTAモデルの3.5% CERに近づいた。
• IAM-Bデータセットでは3.77% CERおよび12.8% WERを達成し、2016年のSOTAモデルの3.5% CERに非常に近い性能を示し、広く使われているベンチマークで強い性能を発揮した。
• Saint Gallデータセットでは3.65% CERを達成し、前回の最高記録である5.26% CERを上回り、極めて多様な歴史的書体に対しても優れた汎化性能を示した。
• すべての拡張技術（StackMix + Blots + 標準的拡張）を組み合わせることで、BenthamR0ではCERが1.73%、Saint Gallでは3.65%にまで低下し、複数の拡張戦略による相乗効果が示された。
• 単一のTesla V100 GPUで1秒間に95行の推論速度を達成し、1分間に380ページを自動処理可能となった—これは手作業で歴史家チームが662ページを処理するのに要する3か月をはるかに上回る。
• Digital Peterデータセットでは2.50% CERおよび14.6% WERを達成し、以前のSOTA（10.5% CER）を上回り、レアで複雑な歴史的書体に対しても有効であることが示された。