[論文レビュー] KISS: Keeping It Simple for Scene Text Recognition

Christian Bartz, Joseph Bethge+2 more|arXiv (Cornell University)|Nov 19, 2019

Handwritten Text Recognition Techniques参考文献 40被引用数 7

ひとこと要約

KISSは、2次元アテンションや画像正規化などの特殊層を用いず、標準的なニューラルネットワークコンponents（2つのResNet-18特徴抽出器、空間変換器、トランスフォーマー）のみを用いて、SOTAまたは競争力のある性能を達成するシーンテキスト認識モデルを提案する。合成データからエンドツーエンドで訓練された本モデルは、シンプルさとモularityが、シーンテキスト認識において高い精度をもたらせることを示している。

ABSTRACT

Over the past few years, several new methods for scene text recognition have been proposed. Most of these methods propose novel building blocks for neural networks. These novel building blocks are specially tailored for the task of scene text recognition and can thus hardly be used in any other tasks. In this paper, we introduce a new model for scene text recognition that only consists of off-the-shelf building blocks for neural networks. Our model (KISS) consists of two ResNet based feature extractors, a spatial transformer, and a transformer. We train our model only on publicly available, synthetic training data and evaluate it on a range of scene text recognition benchmarks, where we reach state-of-the-art or competitive performance, although our model does not use methods like 2D-attention, or image rectification.

研究の動機と目的

• タスク固有のアーキテクチャに依存せず、標準的かつ再利用可能なニューラルネットワークコンponentsにのみ依存するシーンテキスト認識モデルの開発。
• 2次元アテンション、画像正規化、微調整などの特殊技術を用いずに、SOTAまたは競争力のある性能を達成すること。
• オフザシェルコンponentsから構築されたシンプルでモジュラーなアーキテクチャが、複雑なタスク固有のモデルを凌駕または同等に上回ることを検証すること。
• アブレーションスタディを通じて、モデル内の個々のコンponentsの重要性を評価すること。
• 公開可能な合成学習データとエンドツーエンド学習のみを用いて、高精度なシーンテキスト認識が達成可能であることを示すこと。

提案手法

• モデルは、ローカライゼーションと認識の両方の目的に使用する2つの独立したResNet-18特徴抽出器を用いる。
• ローカライゼーションネットワークは、入力の単語画像内の領域（ROIs）のアフィン変換行列を予測する。
• 空間変換器は、これらの行列を用いて入力画像からのROIsを切り出し、正規化する。
• 切り出されたROIsは、トランスフォーマーを用いて全文字列を予測する認識ネットワークに供給される。
• システム全体は、ボックスの真値情報が不要で、単語レベルのアノテーションのみを用いてエンドツーエンドで学習可能である。
• データ拡張や微調整を一切行わず、公開可能な合成データセットから、エンドツーエンドで学習を開始する。

実験結果

リサーチクエスチョン

• RQ1 2次元アテンションや画像正規化などの特殊コンponentsを一切使用せず、標準的でオフザシェルのニューラルネットワークコンponentsのみを用いて、SOTAのシーンテキスト認識性能を達成できるか？
• RQ2 シーンテキスト認識における高精度を達成するために、2次元アテンションや画像正規化などの特殊コンponentsの使用は必須か？
• RQ3 データ拡張と多様な学習データの重要性は、モデル性能にどの程度影響を与えるか？
• RQ4 トランスフォーマー、空間変換器、ローカライゼーションネットワークなどのアーキテクチャコンponentsの相対的な貢献度は何か？
• RQ5 フォワードパスでラベルインジェクションを行わない状態で、トランスフォーマーに基づくローカライゼーションヘッドを有効に学習可能か？また、性能向上に寄与するか？

主な発見

• KISSモデルは、2次元アテンションや画像正規化を一切使用せず、複数の標準的なシーンテキスト認識ベンチマークでSOTAまたは競争力のある性能を達成した。
• ローカライゼーションネットワークのLSTMをトランスフォーマーに置き換えても性能は向上せず、むしろ学習時間が増加した。これは、現段階ではその恩恵が限定的であることを示唆している。
• 認識ヘッドにトランスフォーマーを用いることで、単純なソフトマックス分類器に比べて性能が著しく向上した。これは、アテンションを用いたシーケンス・トゥ・シーケンスモデリングの重要性を確認するものである。
• 認識ネットワークにおけるトランスフォーマー層の数を増やしても、性能の向上が得られなかった。これは、単一のトランスフォーマー層で十分であることを示している。
• ローカライゼーションネットワークを削除し、直接切り出されたROIsを認識ネットワークに供給すると、焦点が当たらない、または曲がったテキストでは性能が悪化した。これは、適応的ROI選択の価値を裏付けている。
• データ拡張は一部のデータセットでは強力な性能向上に寄与するが、他のデータセットでは影響が最小限にとどまる。これは、データセットに依存する感受性があることを示している。