[論文レビュー] Recursive Recurrent Nets with Attention Modeling for OCR in the Wild

Chen‐Yu Lee, Simon Osindero|arXiv (Cornell University)|Mar 9, 2016

Handwritten Text Recognition Techniques参考文献 49被引用数 64

ひとこと要約

本稿では、語彙フリーなシーンテキスト認識のための再帰的再帰ニューラルネットワーク（R²AM）を提案する。再帰的畳み込みニューラルネットワーク（CNN）を用いて効率的な特徴抽出を実現し、RNNを用いて暗黙的な言語モデルを学習し、ソフトアテンションを導入して関連する画像領域に注目する。Street View Textで9%、ICDAR 2013で8.2%の絶対的向上を達成し、最先端の性能を実現した。

ABSTRACT

We present recursive recurrent neural networks with attention modeling (R$^2$AM) for lexicon-free optical character recognition in natural scene images. The primary advantages of the proposed method are: (1) use of recursive convolutional neural networks (CNNs), which allow for parametrically efficient and effective image feature extraction; (2) an implicitly learned character-level language model, embodied in a recurrent neural network which avoids the need to use N-grams; and (3) the use of a soft-attention mechanism, allowing the model to selectively exploit image features in a coordinated way, and allowing for end-to-end training within a standard backpropagation framework. We validate our method with state-of-the-art performance on challenging benchmark datasets: Street View Text, IIIT5k, ICDAR and Synth90k.

研究の動機と目的

• 制約のない自然画像における語彙フリーなシーンテキスト認識の課題に対処すること。
• 手作業で特徴を設計する、固定語彙に依存する、またはN-gramモデルに依存する従来手法の限界を克服すること。
• 視覚的特徴と順序付き言語パターンを同時に学習できるエンドツーエンドで訓練可能なシステムを開発すること。
• 現実世界のシーンにおける低コントラスト、変形、ごみだらけのテキストに対して高い耐性を持つこと。

提案手法

• 制限されたパラメータ予算内で、重み共有を用いた再帰的畳み込みニューラルネットワーク（CNN）を採用し、効率的な画像特徴抽出を実現する。
• 再帰的CNNの特徴の上に再帰ニューラルネットワーク（RNN）を適用し、明示的なN-gram定義に依存せずに、文字レベルの順序依存性を暗黙的に学習する。
• シーケンスデコード中に動的に関連する画像特徴を選択するソフトアテンション機構を統合し、文脈に応じた特徴利用を可能にする。
• 標準的なバックプロパゲーションを用いて、視覚的および順序的コンポーネントを同時に最適化できるように、全アーキテクチャをエンドツーエンドで訓練する。
• 最終デコーダとして、文字レベルのRNNとアテンション（RNN_Atten）を採用したが、他のRNNバリアントよりも優れた性能を示した。
• 平均的な単語長（約8文字）を考慮し、LSTMメモリセルを避けることで、性能を損なわず複雑性を低減した。

実験結果

リサーチクエスチョン

• RQ1 標準的なCNNと比較して、再帰的CNNは、シーンテキスト認識における特徴抽出の効率性と性能を向上させることができるか？
• RQ2 N-gramの手動定義に依存せずに、RNNベースの言語モデルは文字レベルの順序依存性を暗黙的に捉えることができるか？
• RQ3 シーケンス生成中に関連する画像領域に注目することで、ソフトアテンション機構が認識精度を向上させるか？
• RQ4 提案されたエンドツーエンドフレームワークは、制約ありおよび制約なしの両方の認識設定で、従来の最先端手法を上回る性能を示せるか？
• RQ5 モデルは、閉塞や歪みがあるような、未学習の単語や困難な現実世界のシーン画像に対しても一般化できるか？

主な発見

• R²AMフレームワークは、Street View Text（SVT）データセットにおいて、従来の最先端手法よりも9%の絶対的精度向上を達成した。
• ICDAR 2013（IC13）ベンチマークでは、8.2%の絶対的向上を達成し、制約なしのシーンテキスト認識における新たな最先端性能を確立した。
• 暗黙的な言語モデルにより、欠損または閉塞された文字（例：PARK、BURBANK、SAN、STAR）を効果的に回復できた。
• モデルは未学習の単語に対しても良好に一般化し、語彙フリー認識を目的として設計されていながらも、制約あり設定でも競争力のある性能を示した。
• アブレーションスタディにより、再帰的CNN、RNN言語モデル、ソフトアテンションの各コンポーネントが性能向上に顕著に寄与していることが確認された。
• IIIT5kおよびSynth90kでも高い結果を達成し、文献上では初のIIIT5kにおける制約なしの結果を報告した。