[論文レビュー] Transformer based Urdu Handwritten Text Optical Character Reader

Mohammad Daniyal Shaiq, Musa Dildar Ahmed Cheema+1 more|arXiv (Cornell University)|Jun 9, 2022

Handwritten Text Recognition Techniques被引用数 5

ひとこと要約

本論文は、特徴抽出にResNet-18を活用し、文字を逐次予測するカスタムトランスフォーマー・デコーダーを備えた、ウルドゥー手書き文字認識のためのトランスフォーマー基盤アーキテクチャを提案する。限られた学習データのため、文字誤り率（85％以上）が著しく高いが、本研究は低リソースなウルドゥーー手書きOCRにおけるトランスフォーマーの使用をパイオニア的に実施し、この未開拓分野における今後の研究の基盤を確立する。

ABSTRACT

Extracting Handwritten text is one of the most important components of digitizing information and making it available for large scale setting. Handwriting Optical Character Reader (OCR) is a research problem in computer vision and natural language processing computing, and a lot of work has been done for English, but unfortunately, very little work has been done for low resourced languages such as Urdu. Urdu language script is very difficult because of its cursive nature and change of shape of characters based on it's relative position, therefore, a need arises to propose a model which can understand complex features and generalize it for every kind of handwriting style. In this work, we propose a transformer based Urdu Handwritten text extraction model. As transformers have been very successful in Natural Language Understanding task, we explore them further to understand complex Urdu Handwriting.

研究の動機と目的

• 複雑なカイリュウスクリプトを持つ低リソース言語としてのウルドゥーー手書き文字を認識できるディープラーニングモデルの開発。
• 文脈依存的で接続文字（リガチャア）が多いウルドゥーー手書き文字を処理する際、トランスフォーマー・アーキテクチャの有効性の検証。
• カイリュウスウルドゥーー手書き文字のための公開済みの大規模データセットや商業的OCRソリューションの不足への対応。
• アテンションに基づくシーケンスモデリングを用いたウルドゥーー手書き文字認識における今後の研究のためのベースラインモデルの確立。
• 大規模言語データへの事前学習を経ずに、エンドツーエンドの文字レベルシーケンス予測が、ウルドゥーー手書き文字認識で可能かどうかの調査。

提案手法

• 入力されたウルドゥーー手書き画像から高次元特徴を抽出するために、ImageNetで事前学習済みのResNet-18を活用する。
• ResNet-18の出力を全結合層で処理し、トランスフォーマー入力に適したシーケンス埋め込みを生成する。
• 因果的自己注意機構を備えたトランスフォーマー・デコーダーを用い、シーケンス内の長距離依存関係をモデル化しながら、1文字ずつ文字を予測する。
• マスクされた言語モデル学習を用いてモデルを訓練し、学習中に正解ラベルをマスクして正しい文字列を予測する。
• トランスフォーマーにウルドゥーー言語データでの事前学習重みを用いない。ウルドゥーー手書き文字の特性に特化して、学習を完全から開始する。
• OCRタスクを、入力画像を学習された表現経由で文字列にマッピングする、シーケンス・トゥ・シーケンス分類問題として扱う。

実験結果

リサーチクエスチョン

• RQ1 複雑なカイリュウスクリプトと多数のリガチャアを有する言語としてのウルドゥーー手書き文字を、トランスフォーマー基盤アーキテクチャが効果的に認識できるか。
• RQ2 限られたウルドゥーー手書きデータでスクラッチから学習したトランスフォーマー・モデルの性能は、低リソース環境下での既存手法と比較してどの程度か。
• RQ3 リガチャアが多く、文字形状が位置によって著しく変化するウルドゥーー手書き文字において、トランスフォーマーの自己注意機構が文脈的依存関係をどの程度捉えられるか。
• RQ4 エンドツーエンドのシーケンスモデリングによるトランスフォーマーは、ウルドゥーー手書き文字認識で別個の言語モデルの必要性を排除できるか。
• RQ5 学習データが限られている状況下で、トランスフォーマーを低リソース手書き認識に適用する際の主な制限要因は何か。

主な発見

• 文字誤り率（CER）が85％を超える結果となり、学習データが不足しているため収束が不十分で性能が著しく低いことが示された。
• 高い誤り率にもかかわらず、トランスフォーマー・アーキテクチャをウルドゥーー手書き文字認識に適用する可能性が成功裏に示された。
• 大規模かつ多様なウルドゥーー手書き文字データセットが不足しており、モデルの収束と一般化性能に深刻な障害をきたした。
• ウルドゥーー言語データでの事前学習を経ずにスクラッチからトランスフォーマーを学習したため、意味のあるシーケンス表現を学習する能力が制限された。
• 文字レベルの予測による長い出力シーケンス長さが、学習の不安定性と性能の悪化に寄与した可能性がある。
• 本研究は、今後の研究の基盤となるフレームワークを確立した。特に、事前学習済み言語モデルのファインチューニングや、データ拡張を用いた性能向上の可能性が示された。