[論文レビュー] Single Shot TextSpotter with Explicit Alignment and Attention

Tong He, Zhi Tian+4 more|arXiv (Cornell University)|Mar 9, 2018

Handwritten Text Recognition Techniques被引用数 3

ひとこと要約

本稿では、明示的なテキストアライメント層と文字レベルのアテンションを用いて、自然画像内のテキストを一括で検出・認識するワンショットテキストスポットフレームワークを提案する。検出と認識のタスク間で特徴を共有するエンド・ツー・エンドで訓練可能なモデルにより、ICDAR2015で最先端の性能を達成し、強力な語彙を用いてF-measureを0.54から0.82に向上させる。

ABSTRACT

Text detection and recognition in natural images have long been considered as two separate tasks that are processed sequentially. Training of two tasks in a unified framework is non-trivial due to significant dif- ferences in optimisation difficulties. In this work, we present a conceptually simple yet efficient framework that simultaneously processes the two tasks in one shot. Our main contributions are three-fold: 1) we propose a novel text-alignment layer that allows it to precisely compute convolutional features of a text instance in ar- bitrary orientation, which is the key to boost the per- formance; 2) a character attention mechanism is introduced by using character spatial information as explicit supervision, leading to large improvements in recognition; 3) two technologies, together with a new RNN branch for word recognition, are integrated seamlessly into a single model which is end-to-end trainable. This allows the two tasks to work collaboratively by shar- ing convolutional features, which is critical to identify challenging text instances. Our model achieves impressive results in end-to-end recognition on the ICDAR2015 dataset, significantly advancing most recent results, with improvements of F-measure from (0.54, 0.51, 0.47) to (0.82, 0.77, 0.63), by using a strong, weak and generic lexicon respectively. Thanks to joint training, our method can also serve as a good detec- tor by achieving a new state-of-the-art detection performance on two datasets.

研究の動機と目的

• テキスト検出と認識を統合し、1つのエンド・ツー・エンドで訓練可能なフレームワークに統一すること。
• 根本的に異なる2つのタスクを同時に最適化する課題に対処すること。
• アテンションを用いて文字の空間的位置を明示的に監視することで、認識精度を向上させること。
• 検出と認識のブランチ間の協調学習を通じて、検出性能を向上させること。
• 独自のアライメント層を用いて、任意の向きのテキストに対しても正確な特徴抽出を可能にすること。

提案手法

• 任意の方向をとるテキストインスタンスの畳み込み特徴を計算するために、新しいテキストアライメント層を導入する。
• 文字の空間的位置を、文字アテンション機構における明示的監視として用い、認識精度を向上させる。
• 単語レベルの認識を実現するために、新しいRNNブランチをモデルに統合する。
• 検出と認識のブランチが共有畳み込み特徴を共有することで、協調学習を可能にする。
• モデル全体をエンド・ツー・エンドで訓練することで、検出と認識の共同最適化を可能にする。
• アライメント、アテンション、RNNベースの認識を1つの推論パイプラインにシームレスに統合するフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 テキスト検出と認識の共同学習は、両タスクの性能向上に寄与するか？
• RQ2 文字の空間的位置に対するアテンションによる明示的監視は、認識精度にどのような影響を与えるか？
• RQ3 テキストアライメント層は、任意の向きのテキストに対してどの程度性能を向上させるか？
• RQ4 統合されたワンショットモデルは、逐次的または2段階的手法を上回る性能を発揮できるか？
• RQ5 検出と認識の間で特徴を共有することで、困難なテキストインスタンスにおける一般化性能が向上するか？

主な発見

• 強力な語彙を用いた場合、ICDAR2015でF-measureが0.82に達し、前回の最先端手法（0.54）から顕著な向上を達成した。
• 弱い語彙を用いた場合、F-measureは0.77に達し、過去の研究で報告された0.51から向上した。
• 汎用語彙を用いた場合、F-measureは0.47から0.63に向上し、語彙タイプにかかわらず高いロバスト性を示した。
• 共同学習のおかげで、2つのベンチマークデータセットにおいて検出性能が新たな最先端水準に達した。
• 明示的なアライメントと文字アテンションの統合により、特に困難なテキストインスタンスにおいて顕著な認識精度の向上が得られた。