[論文レビュー] An Efficient End-to-End Neural Model for Handwritten Text Recognition

Arindam Chowdhury, Lovekesh Vig|arXiv (Cornell University)|Jul 20, 2018

Handwritten Text Recognition Techniques被引用数 11

ひとこと要約

この論文では、畳み込みニューラルネットワーク（CNN）を特徴抽出に、バッチ正規化およびレイヤー正規化、フォーカル損失、ビーム探索を強化したエンコーダ・デコーダRNNアーキテクチャを組み合わせることで、オフライン手書き文字認識のエンドツーエンドで効率的なニューラルモデルを提案する。モデルはIAM（+3.5%）およびRIMES（+1.1%）データセットで最先端の単語レベルの正答率を達成しており、入力画像の1/16サイズへのダウンサンプリングによって計算量を61%削減、メモリ使用量を17%削減した。

ABSTRACT

Offline handwritten text recognition from images is an important problem for enterprises attempting to digitize large volumes of handmarked scanned documents/reports. Deep recurrent models such as Multi-dimensional LSTMs have been shown to yield superior performance over traditional Hidden Markov Model based approaches that suffer from the Markov assumption and therefore lack the representational power of RNNs. In this paper we introduce a novel approach that combines a deep convolutional network with a recurrent Encoder-Decoder network to map an image to a sequence of characters corresponding to the text present in the image. The entire model is trained end-to-end using Focal Loss, an improvement over the standard Cross-Entropy loss that addresses the class imbalance problem, inherent to text recognition. To enhance the decoding capacity of the model, Beam Search algorithm is employed which searches for the best sequence out of a set of hypotheses based on a joint distribution of individual characters. Our model takes as input a downsampled version of the original image thereby making it both computationally and memory efficient. The experimental results were benchmarked against two publicly available datasets, IAM and RIMES. We surpass the state-of-the-art word level accuracy on the evaluation set of both datasets by 3.5% & 1.1%, respectively.

研究の動機と目的

• 手作業による特徴抽出やセグメンテーションを回避する、効率的でエンドツーエンドのディープラーニングモデルを、オフライン手書き文字認識に開発すること。
• フォーカル損失を用いて文字認識におけるクラスの不均衡問題に対処し、ビーム探索によるデコードの向上を通じて認識精度を向上させること。
• 入力画像のダウンサンプリングにより、計算コストとメモリ使用量を削減しながら、精度を損なわないこと。
• IAMやRIMESのような標準ベンチマークで、既存の最先端手法を上回る単語レベルの正答率を達成すること。

提案手法

• モデルは、入力サイズを元の解像度の1/16にまで縮小した文字列画像から視覚的特徴を抽出する深層畳み込みネットワークを用いる。
• 双方向RNNエンコーダは、特徴マップからの空間的および順序的文脈を捉え、縦方向および横方向の両方の長期依存関係を学習する。
• アテンション機構を備えたポインタジェネレータ型デコーダは、各デコードステップで関連するエンコーダ状態に注目し、文字列を生成する。
• モデルは、特にレア文字に対して顕著なクラスの不均衡問題に対処するため、フォーカル損失を用いてエンドツーエンドで訓練される。
• 訓練の安定化と収束の改善を図るため、バッチ正規化およびレイヤー正規化が適用される。
• 推論時には、複数の仮説シーケンスを探索し、連合文字確率に基づいて最も確率の高い出力シーケンスを選択するためにビーム探索が用いられる。

実験結果

リサーチクエスチョン

• RQ1 アテンションを備えたハイブリッドCNN-RNNエンコーダ・デコーダモデルは、手書き文字認識において、標準的なRNN-CTCアーキテクチャを上回ることができるか？
• RQ2 フォーカル損失は、不均衡な文字認識タスクにおけるモデル性能をどの程度向上させるか？
• RQ3 グリーディデコードと比較して、ビーム探索はシーケンスレベルの正答率向上にどの程度効果的か？
• RQ4 入力画像のダウンサンプリングにより、計算量とメモリ使用量を大幅に削減できるか、かつ認識精度が低下しないか？
• RQ5 バッチ正規化やレイヤー正規化などの正規化技術の使用は、モデルの安定性と性能を向上させるか？

主な発見

• 提案モデルはIAMデータセットで16.7%の語誤り率（WER）を達成し、RIMESデータセットでは9.6%を記録しており、それぞれ前回の最先端手法を3.5ポイントおよび1.1ポイント上回った。
• 入力画像を元のサイズの1/16にダウンサンプリングすることで、計算コストを61%削減、メモリ消費量を17%削減したが、精度に顕著な低下は見られなかった。
• ビーム探索の統合により、グリーディデコードと比較して単語レベルの正答率が4〜5%絶対的に向上し、シーケンス生成におけるその有効性が示された。
• フォーカル損失とレイヤー正規化はそれぞれ1〜3%の性能向上をもたらし、特にレイヤー正規化がデータセット全体にわたり一貫した向上を示した。
• 最先端手法よりわずかに高い文字誤り率（CER）を示したが、単語レベルの正答率が優れており、全体的なシーケンス予測能力が優れていることが示された。
• モデルの推論時間は、Nvidia Tesla K40 GPU上で1ラインあたり1.5秒であり、実世界への実装に向けた実用的な効率性を示している。