[論文レビュー] Revisiting Classification Perspective on Scene Text Recognition

Hongxiang Cai, Jun Sun+1 more|arXiv (Cornell University)|Feb 22, 2021

Handwritten Text Recognition Techniques参考文献 46被引用数 5

ひとこと要約

この論文は、語彙レベルのアノテーションを用いて、シーンテキスト認識における分類アプローチを再考し、CSTRを提案する。CSTRは、単純ながらも効果的なモデルであり、テキスト認識を画像分類タスクとして扱う。CSTRは、新しいバックボーン（CPNet）と予測ヘッド（SPPN）を用い、6つのベンチマークでほぼ最先端の性能を達成し、seq2seqおよびセグメンテーションベースの手法を上回りながら、ResNetと同等の単純さを維持する。

ABSTRACT

The prevalent perspectives of scene text recognition are from sequence to sequence (seq2seq) and segmentation. Nevertheless, the former is composed of many components which makes implementation and deployment complicated, while the latter requires character level annotations that is expensive. In this paper, we revisit classification perspective that models scene text recognition as an image classification problem. Classification perspective has a simple pipeline and only needs word level annotations. We revive classification perspective by devising a scene text recognition model named as CSTR, which performs as well as methods from other perspectives. The CSTR model consists of CPNet (classification perspective network) and SPPN (separated conv with global average pooling prediction network). CSTR is as simple as image classification model like ResNet \cite{he2016deep} which makes it easy to implement and deploy. We demonstrate the effectiveness of the classification perspective on scene text recognition with extensive experiments. Futhermore, CSTR achieves nearly state-of-the-art performance on six public benchmarks including regular text, irregular text. The code will be available at https://github.com/Media-Smart/vedastr.

研究の動機と目的

• 従来の研究で性能が低かったため無視されがちだった、シーンテキスト認識における分類ベースの視点を再活性化すること。
• 複雑なseq2seqおよびセグメンテーションベースの手法と同等の性能を達成しつつ、語彙レベルのアノテーションのみを用いるモデルを設計すること。
• 文字レベルのアノテーションや複雑なデコーダアーキテクチャの必要性を排除することで、シーンテキスト認識のパイプラインを単純化すること。
• 適切な予測ネットワークおよびバックボーンの設計により、分類ベースの手法が最先端の手法と競合可能であることを示すこと。
• データ拡張および空間変換の重要性を強調すること。

提案手法

• 語彙レベルのアノテーションを用いて、固定長の出力ヘッドを各文字位置に持つ、マルチヘッド画像分類問題として扱う完全畳み込み型モデルCSTRを提案。
• 受容 field を拡大し、意味的注意を有するダウンサンプリングモジュール（SADM）を備えた、再設計されたバックボーンネットワークCPNetを導入。
• SPPN（グローバル平均プーリングを用いた分離畳み込み予測ネットワーク）を設計。各文字位置ごとに独立した畳み込みとグローバル平均プーリングを用いて、位置的文脈を符号化。
• CTC損失の代わりに交差エントロピー損失を採用。適切な予測ネットワーク設計により、CEがCTCを上回ることを示した。
• さらに、耐性と精度を向上させるために、データ拡張および空間変換ネットワーク（STN）を適用。
• 可変長の単語を処理するため、固定最大シーケンス長に終端トークンを追加。これにより、標準的な分類目的関数を用いたエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 分類ベースのアプローチは、seq2seqおよびセグメンテーションベースの手法と同等の性能を達成できるか？
• RQ2 適切に設計された予測ヘッドおよびバックボーンネットワークにより、交差エントロピー損失が分類的視点でCTC損失を上回るのか？
• RQ3 データ拡張は、分類ベースのシーンテキスト認識モデルの性能にどのように影響するか？
• RQ4 空間変換ネットワーク（STN）は、単純な分類ベースのモデルの精度をさらに向上させられるか？
• RQ5 バックボーンにおけるSADMや拡大された受容フィールドといったアーキテクチャ的要因が、全体の性能に与える寄与度は何か？

主な発見

• CSTRは、ICDAR03、ICDAR13、ICDAR15、IIIT5k、SVT、SVTPの6つの公開ベンチマークで、ほぼ最先端の性能を達成した。
• データ拡張を適用した場合、ベンチマークスイート全体で平均89.0%の精度を達成。さらに空間変換ネットワークを組み合わせると、89.4%まで向上した。
• SPPNにより、交差エントロピー損失がCTC損失を上回り、同じバックボーンで84.1%の精度（CTCは83.8%）を達成した。
• アブレーションスタディにより、強化モジュール（EM）が3.1ポイント（84.1%から87.2%）の精度向上をもたらし、SADMがさらに0.1ポイントの向上をもたらしたことが確認された。
• データ拡張により、性能低下が1.7ポイント減少し、分類ベースのSTRモデルの学習において極めて重要な役割を果たすことが示された。
• モデルの単純さ（ResNetと同等）のおかげで、実装・学習・デプロイが容易であり、複雑なseq2seqパイプラインとは対照的である。