[論文レビュー] Unconstrained Scene Text and Video Text Recognition for Arabic Script

Mohit Jain, Minesh Mathew+1 more|arXiv (Cornell University)|Nov 7, 2017

Handwritten Text Recognition Techniques参考文献 33被引用数 10

ひとこと要約

本稿では、限られた実世界のアノテーションを補うために合成データを活用し、制約のないアラビア語のシーンおよび動画テキスト認識のためのエンドツーエンドで学習可能なCNN-RNNハイブリッドモデルを提案する。本モデルは動画テキストベンチマークで最先端の性能を達成し、新たに導入されたデータセットを用いてアラビア語のシーンテキスト認識における最初のワードレベルベースラインを確立する。

ABSTRACT

Building robust recognizers for Arabic has always been challenging. We demonstrate the effectiveness of an end-to-end trainable CNN-RNN hybrid architecture in recognizing Arabic text in videos and natural scenes. We outperform previous state-of-the-art on two publicly available video text datasets - ALIF and ACTIV. For the scene text recognition task, we introduce a new Arabic scene text dataset and establish baseline results. For scripts like Arabic, a major challenge in developing robust recognizers is the lack of large quantity of annotated data. We overcome this by synthesising millions of Arabic text images from a large vocabulary of Arabic words and phrases. Our implementation is built on top of the model introduced here [37] which is proven quite effective for English scene text recognition. The model follows a segmentation-free, sequence to sequence transcription approach. The network transcribes a sequence of convolutional features from the input image to a sequence of target labels. This does away with the need for segmenting input image into constituent characters/glyphs, which is often difficult for Arabic script. Further, the ability of RNNs to model contextual dependencies yields superior recognition results.

研究の動機と目的

• シーンおよび動画テキスト認識のためのアラビア語テキストデータに大規模なアノテーションが不足している問題に対処すること。
• セグメンテーション不要な、シーケンス・ツー・シーケンスのアプローチを確立し、アラビア語テキスト認識の耐障害性を高めること。
• 新たに導入されたアラビア語のシーンテキストデータセットを提示し、ワードレベル認識のためのベースライン性能を確立すること。
• 変動する照明、歪み、フォントスタイルにさらされる非制約環境でも認識精度を向上させること。
• アラビア語のような低リソース言語において、合成データとエンドツーエンド学習の有効性を示すこと。

提案手法

• モデルは、文字レベルのセグメンテーションを必要とせず、入力画像特徴を直接ラベルのシーケンスに変換するCNN-RNNハイブリッドアーキテクチャを採用する。
• RNNが文字間の文脈的依存関係をモデル化する、シーケンス・ツー・シーケンス学習フレームワークを採用する。
• 多様な語彙から多数の合成アラビア語テキスト画像を生成し、トレーニングデータを拡張する。
• バックプロパゲーションを用い、RNN用にバックプロパゲーションスルータイム（BPTT）を適用し、エンドツーエンドでネットワークを学習する。
• シーケンスアライメントを可能にするため、コネクティスト・テンポラル分類（CTC）損失関数を採用し、アライメントフリーな学習を実現する。
• 畳み込み層による特徴抽出の後、長距離依存関係をモデル化するための双方向LSTM層を用いる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで学習可能なCNN-RNNアーキテクチャは、従来の手法よりもアラビア語の動画およびシーンテキスト認識で優れた性能を示せるか？
• RQ2 合成データ生成は、低リソースのアラビア語テキスト認識性能の向上にどの程度有効であるか？
• RQ3 アラビア語における動画テキスト認識とシーンテキスト認識の性能差は何か？その要因は何か？
• RQ4 従来のセグメンテーションベースのモデルと比較して、セグメンテーション不要なアプローチが優れた結果を出すことができるか？
• RQ5 この分野に先行研究が存在しないため、ワードレベルのアラビア語シーンテキスト認識のベースライン性能は何か？

主な発見

• 提案されたCNN-RNNモデルは、ALIF test1データセットで98.17%の文字認識率（CRR）を達成し、アラビア語の動画テキスト認識分野で新たな最先端性能を樹立した。
• ALIF test2およびAcTiVデータセットでは、それぞれ97.84%および97.44%のCRRを達成し、従来手法を上回った。
• 新たに導入されたアラビア語のシーンテキストデータセットでは、CRRが75.05%、ワード認識率（WRR）が39.43%を達成し、ワードレベル認識の最初のベースラインを確立した。
• シーンテキストデータセットにおいて、Tesseract OCR（CRR: 17.07%）を著しく上回った。これは、ディープラーニングと合成データの有効性を示している。
• 結果から、照明、歪み、タイプオプティクスの変動が著しく大きいことから、シーンテキスト認識は動画テキスト認識よりもはるかに困難であることが明らかになった。
• アブレーション解析の結果、合成データを用いたエンドツーエンド学習により、アラビア語テキスト認識における一般化性能と文脈モデリング能力が向上することが確認された。