[論文レビュー] Synthetic data generation for Indic handwritten text recognition

Partha Pratim Roy, Akash Mohta+1 more|arXiv (Cornell University)|Apr 17, 2018

Handwritten Text Recognition Techniques参考文献 26被引用数 6

ひとこと要約

本論文では、デジタルテキストに制御された歪みを適用することで、自然な筆記のばらつきを再現する、インディック手書き文字認識のための合成データ生成手法を提案する。この手法は、デワナガリおよびベンガル文字の認識精度を向上させ、文字、数字、語彙レベルのタスクで性能向上を実現する。また、ラテン文字に対しても有効であることが示され、低リソースの手書き認識システムへの広範な適用可能性を示している。

ABSTRACT

This paper presents a novel approach to generate synthetic dataset for handwritten word recognition systems. It is difficult to recognize handwritten scripts for which sufficient training data is not readily available or it may be expensive to collect such data. Hence, it becomes hard to train recognition systems owing to lack of proper dataset. To overcome such problems, synthetic data could be used to create or expand the existing training dataset to improve recognition performance. Any available digital data from online newspaper and such sources can be used to generate synthetic data. In this paper, we propose to add distortion/deformation to digital data in such a way that the underlying pattern is preserved, so that the image so produced bears a close similarity to actual handwritten samples. The images thus produced can be used independently to train the system or be combined with natural handwritten data to augment the original dataset and improve the recognition system. We experimented using synthetic data to improve the recognition accuracy of isolated characters and words. The framework is tested on 2 Indic scripts - Devanagari (Hindi) and Bengali (Bangla), for numeral, character and word recognition. We have obtained encouraging results from the experiment. Finally, the experiment with Latin text verifies the utility of the approach.

研究の動機と目的

• デワナガリやベンガルのような低リソースのインディック文字のラベル付き手書きデータの不足に対処すること。
• 実際の手書きデータの収集にかかるコストと手間を削減し、自然な筆記を模倣した合成サンプルを生成すること。
• データ拡張を通じて、分離文字および語彙認識システムの認識性能を向上させること。
• この手法の一般化能力を、ラテン文字を含む複数のスクリプトにおいて検証すること。
• 視覚的変更にもかかわらず、元のテキストパターンを保持することで、合成データが訓練に有用であることを保証すること。

提案手法

• 合成データは、オンラインソースから得た清浄なデジタルテキスト画像に、制御された幾何的および光度的歪みを適用することで生成される。
• 歪みには、ワープ、回転、スケーリング、ノイズ追加が含まれ、自然な筆記のばらつきを再現する。
• 視覚的変更があっても、元のテキストコンテンツと構造が意味的に完全に保たれるようにする。
• 生成された合成画像は、実際の手書きデータと併用するか、独立して認識モデルの学習に使用される。
• フレームワークは、デワナガリおよびベンガルスクリプトを用いた分離文字および語彙認識タスクで評価される。
• アブレーションスタディおよびクロススクリプト評価（ラテン文字）により、合成データの頑健性と転送可能性が検証される。

実験結果

リサーチクエスチョン

• RQ1 デジタルテキストの歪みを用いた合成データ生成が、低リソースのインディックスクリプトの認識精度を向上させることができるか？
• RQ2 合成データ拡張は、分離文字および語彙認識タスクの性能をどの程度向上させるか？
• RQ3 この手法は、ラテン文字のような非インディックスクリプトに対しても、どの程度一般化可能か？
• RQ4 合成データは、現実的な筆記に似たばらつきを導入しながらも、意味的コンテンツを保持しているか？
• RQ5 実際の手書きデータと組み合わせた場合、合成データが認識モデルの学習に果たす相対的寄与度は何か？

主な発見

• 提案された合成データ生成手法は、文字、数字、語彙認識タスクにおいて、デワナガリおよびベンガルスクリプトの認識精度を顕著に向上させる。
• 合成データと実際の手書きデータの組み合わせは、実データ単体を使用する場合よりも優れた性能を示し、効果的なデータ拡張であることを実証する。
• この手法はラテンスクリプトに対しても良好に一般化され、インディックスクリプトを超えた適用可能性を確認する。
• 合成サンプルは実際の手書きサンプルと視覚的に類似しており、認識システムの学習に適している。
• このアプローチは、低リソースの手書き認識シナリオにおけるデータ不足問題を効果的に解決する。
• 結果から、歪みに基づく合成データ生成は、高コストなデータ収集の代替手段として実用的かつ効果的であると示唆される。