[論文レビュー] Sequence-to-Label Script Identification for Multilingual OCR

Yasuhisa Fujii, Karel Driesen+3 more|arXiv (Cornell University)|Aug 15, 2017

Handwritten Text Recognition Techniques参考文献 9被引用数 4

ひとこと要約

この論文は、マルチリンガルOCRにおけるスクリプト識別のためのシーケンスからラベルへのアプローチを提案し、タスクをエンド・トゥ・エンドで学習可能なエンコーダ・サマライザー構造として定式化する。従来のシーケンス・ツー・シーケンス手法に代えて、より単純で効率的なシーケンス・ツー・ラベルモデルを採用することで、232言語・30スクリプトから成るデータセットにおいて、スクリプト識別誤り率が16%低減され、スクリプト誤識別による文字誤り率が33%低減された。

ABSTRACT

We describe a novel line-level script identification method. Previous work repurposed an OCR model generating per-character script codes, counted to obtain line-level script identification. This has two shortcomings. First, as a sequence-to-sequence model it is more complex than necessary for the sequence-to-label problem of line script identification. This makes it harder to train and inefficient to run. Second, the counting heuristic may be suboptimal compared to a learned model. Therefore we reframe line script identification as a sequence-to-label problem and solve it using two components, trained end-toend: Encoder and Summarizer. The encoder converts a line image into a feature sequence. The summarizer aggregates the sequence to classify the line. We test various summarizers with identical inception-style convolutional networks as encoders. Experiments on scanned books and photos containing 232 languages in 30 scripts show 16% reduction of script identification error rate compared to the baseline. This improved script identification reduces the character error rate attributable to script misidentification by 33%.

研究の動機と目的

• マルチリンガルOCRにおけるラインレベルのスクリプト識別に向けた従来のシーケンス・ツー・シーケンスモデルの非効率性と最適でない性能を是正すること。
• タスクをシーケンス・ツー・ラベル問題に再定式化することで、スクリプト識別精度を向上させるとともに、計算コストを低減すること。
• 共通のエンコーダを用いて、さまざまな要約器アーキテクチャ（例：Gate、LSTM、Mean、Max）を組み合わせ、最適なパフォーマンスを達成することを評価すること。
• マルチリンガルOCRシステムにおけるスクリプト誤識別に起因する文字誤り率を低減すること。
• 混在スクリプトラインの処理における制限を調査し、将来のエンド・トゥ・エンド統合の方向性を提案すること。

提案手法

• この手法は、インセプション風の畳み込みネットワークを用いて、ライン画像を深層特徴のシーケンスに変換するエンコーダを用いる。
• 要約器コンponentは、Gate、LSTM、Mean、Maxプーリングなどの異なるアーキテクチャを用いて、特徴シーケンスを1つのラベル（スクリプト）に集約する。
• Gate要約器は、学習されたアテンションを用いて、特にキリル文字やデヴァナガリー文字のような特徴的な文字を強調する。
• システム全体は、スクリプト分類タスクにおける交差エントロピー損失を用いてエンド・トゥ・エンドで学習される。
• 従来手法の各文字予測に対するカウントヒューリスティックを、直接的なシーケンス・ツー・ラベル分類に置き換える。
• 本システムは、232言語・30スクリプトを含むスキャン済み書籍および写真から成る多様なデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 マルチリンガルOCRにおけるラインレベルのスクリプト識別において、シーケンス・ツー・ラベル定式化が従来のシーケンス・ツー・シーケンスアプローチを上回る性能を示せるか？
• RQ2 Gate、LSTM、Mean、Maxなどの異なる要約器アーキテクチャは、精度と効率の観点でどのように比較できるか？
• RQ3 スクリプト識別精度の向上が、誤分類に起因する文字誤り率をどの程度低減できるか？
• RQ4 LSTMと同様にシーケンスモデルであるにもかかわらず、なぜGate要約器がLSTMを上回る性能を発揮するのか？
• RQ5 混在スクリプトラインを処理する際、現在のラインレベルスクリプト識別アプローチにどのような制限があるか？

主な発見

• 提案されたシーケンス・ツー・ラベル手法は、従来のシーケンス・ツー・シーケンスベースラインと比較して、スクリプト識別誤り率を16%低減した。
• Gate要約器が最良のパフォーマンスを達成し、キリル文字やデヴァナガリー文字のような特徴的なスクリプト特徴に注目する学習されたアテンションを活用した。
• スクリプト識別が向上したことで、スクリプト誤識別に起因する文字誤り率が33%低減された。
• より単純なアーキテクチャのおかげで、従来のシーケンス・ツー・シーケンスモデルよりも計算的に効率的である。
• 写真データにおける非ラテン文字では、誤り率がオラクルケースと比較して2倍に増加しており、その原因はこのようなスクリプトの訓練データが不足しているためである。
• LSTMモデルは、シーケンスモデリング能力があるにもかかわらず、Gate要約器を上回らない。これは、このタスクにおいてアテンション機構がより効果的であることを示唆している。