[論文レビュー] Reading Scene Text with Attention Convolutional Sequence Modeling

Yunze Gao, Yingying Chen+2 more|arXiv (Cornell University)|Sep 13, 2017

Handwritten Text Recognition Techniques参考文献 33被引用数 54

ひとこと要約

この論文は、RNNを用いずにスタックされたCNNを用いたシーン文字認識のエンドツーエンドの注意付き畳み込みネットワークを提案し、残差注意機構を備えたシーケンスモデリングを実現する。語彙なしおよび語彙ベースの設定の標準ベンチマークで競争力のある、あるいは最先端の結果を達成する。

ABSTRACT

Reading text in the wild is a challenging task in the field of computer vision. Existing approaches mainly adopted Connectionist Temporal Classification (CTC) or Attention models based on Recurrent Neural Network (RNN), which is computationally expensive and hard to train. In this paper, we present an end-to-end Attention Convolutional Network for scene text recognition. Firstly, instead of RNN, we adopt the stacked convolutional layers to effectively capture the contextual dependencies of the input sequence, which is characterized by lower computational complexity and easier parallel computation. Compared to the chain structure of recurrent networks, the Convolutional Neural Network (CNN) provides a natural way to capture long-term dependencies between elements, which is 9 times faster than Bidirectional Long Short-Term Memory (BLSTM). Furthermore, in order to enhance the representation of foreground text and suppress the background noise, we incorporate the residual attention modules into a small densely connected network to improve the discriminability of CNN features. We validate the performance of our approach on the standard benchmarks, including the Street View Text, IIIT5K and ICDAR datasets. As a result, state-of-the-art or highly-competitive performance and efficiency show the superiority of the proposed approach.

研究の動機と目的

• unconstrained scenes におけるシーン文字認識の効率と精度の課題を動機づけ、対処する。
• 再帰的なシーケンスモデリングを置換して高速かつ並列可能な処理を実現する、完全に畳み込みのアーキテクチャを提案する。
• 背景ノイズを抑制し前景の文字特徴を強化するため、密結合エンコーダ内に残差注意を組み込む。
• 事前にセグメント化された文字や固定辞書に依存せず、単語レベルの注釈によるエンドツーエンド訓練を可能にする。

提案手法

• 残差注意を備えた密結合ブロックに基づくアテンション特徴エンコーダを導入し、単語画像から堅牢な特徴系列を生成する。
• 特徴系列を2Dマップへ変換（sequence-to-map）し、再帰なしに文脈依存性をモデル化する積み重ねた畳み込み層を適用する。
• CNN出力を再び系列へ復元（map-to-sequence）し、線形層を適用して各フレームのラベル分布を得る。
• 各フレームの分布を最終的な単語列へ変換するためにCTCを使用し、語彙なしおよび語彙ベースのデコーディングを実現する。
• CTC下の負の対数尤度目的関数を用いて単語レベルの注釈でエンドツーエンド訓練を行う。
• CNNベースのシーケンスモデリングがBLSTMより約9倍速く、パラメータ数も少なくて済む一方で、競争力のある精度を維持することを示す。

実験結果

リサーチクエスチョン

• RQ1 RNNを用いない畳み込みシーケンスモデリングアプローチは、計算効率を提供しつつシーン文字の認識精度で競争力を持てるか。
• RQ2 密結合エンコーダに残差注意を組み込むことで、前景文字表現を改善し背景ノイズを抑制できるか。
• RQ3 語彙なし・語彙ベースの両方のシーン文字認識で、単語レベルの注釈によるエンドツーエンド訓練は実現可能で効果的か。
• RQ4 提案されたアテンション畳み込みネットワークは、SVT、IIIT5K、ICDARベンチマークで異なる語彙設定の下で最先端方法と比較してどのように性能を発揮するか。

主な発見

Methods	SVT-50	SVT	IIIT5k-50	IIIT5k-1k	IIIT5k	IC03-50	IC03-Full	IC03	IC13
Ours	97.4	82.7	99.1	97.9	81.8	98.7	96.7	89.2	88.0

• SVT、IIIT5k、IC03、IC13で競争力のある〜最先端の結果を達成し、語彙なし設定での性能が特に高い。
• CNNベースのシーケンスモデリングはBLSTMより約9倍速く、パラメータも少なくて済むことを示す。
• 残差注意モジュールは認識精度を向上させ、特にSVTやIIIT5kのようなノイズの多いデータセットで効果を発揮する。
• IIIT5kの1000語リストのような語彙ベース設定で、いくつかの既存手法を上回る。
• 空間歪みに対してロバストで、明示的な文字 rectification コンポーネントに依存しない。