[論文レビュー] An end-to-end TextSpotter with Explicit Alignment and Attention

Tong He, Zhi Tian+4 more|arXiv (Cornell University)|Mar 9, 2018

Handwritten Text Recognition Techniques参考文献 28被引用数 31

ひとこと要約

本論文は、新しいテキストアライメント層と文字単位のアテンションを用いて、自然画像内のテキストを統合的に検出・認識するエンドツーエンドのテキストスポッターを提案する。空間的文字位置を明示的にモデル化し、検出と認識の間で特徴を共有することで、ICDAR2015で最先端の性能を達成し、F-measureを先行研究の0.54から0.82（強力な語彙）まで向上させた。

ABSTRACT

Text detection and recognition in natural images have long been considered as two separate tasks that are processed sequentially. Training of two tasks in a unified framework is non-trivial due to significant dif- ferences in optimisation difficulties. In this work, we present a conceptually simple yet efficient framework that simultaneously processes the two tasks in one shot. Our main contributions are three-fold: 1) we propose a novel text-alignment layer that allows it to precisely compute convolutional features of a text instance in ar- bitrary orientation, which is the key to boost the per- formance; 2) a character attention mechanism is introduced by using character spatial information as explicit supervision, leading to large improvements in recognition; 3) two technologies, together with a new RNN branch for word recognition, are integrated seamlessly into a single model which is end-to-end trainable. This allows the two tasks to work collaboratively by shar- ing convolutional features, which is critical to identify challenging text instances. Our model achieves impressive results in end-to-end recognition on the ICDAR2015 dataset, significantly advancing most recent results, with improvements of F-measure from (0.54, 0.51, 0.47) to (0.82, 0.77, 0.63), by using a strong, weak and generic lexicon respectively. Thanks to joint training, our method can also serve as a good detec- tor by achieving a new state-of-the-art detection performance on two datasets.

研究の動機と目的

• 検出と認識の最適化の難易度の違いにもかかわらず、一元的なフレームワーク内でテキスト検出と認識を同時に学習する課題に対処すること。
• 誤りの伝搬と検出と認識の間の特徴共有の欠如に起因する、逐次的パイプラインの限界を克服すること。
• デコード段階で文字の空間的位置を明示的にモデル化することで、多方向・任意方向のテキスト認識の精度を向上させること。
• 強力な空間的監視と専用のアライメント機構を導入することで、安定した収束を実現するエンドツーエンド学習を可能にすること。
• 共同最適化と特徴共有を通じて、検出と認識のベンチマークの両方で最先端の性能を達成すること。

提案手法

• 任意の方向をとるテキストインスタンスに対して、畳み込み特徴を明示的に計算するテキストアライメント層を導入し、背景や不要な特徴の干渉を低減する。
• 文字の明示的な空間座標を監視として用いる文字アテンション機構を設計し、RNNデコード段階でのアテンションをガイドすることで、アライメントを向上させ、誤認識を低減する。
• 検出フレームワーク（例：Faster R-CNN形式）に新しいRNNベースの認識ブランチを統合し、共有畳み込み特徴を用いたエンドツーエンド学習を可能にする。
• 検出と認識の間で共有特徴を適用し、相互に改善し合い、複雑な背景や小規模・傾斜付きテキストに対して頑健な性能を発揮する。
• マルチスケール推論と語彙ベースの評価プロトコル（強力、弱い、一般）を用いて、汎化性と頑健性を検証する。
• 信頼性の高い性能比較を確保するため、合成データ（例：VGG合成）と実データ（ICDAR2015/2013）を用い、慎重なデータ分割と評価プロトコルを適用する。

実験結果

リサーチクエスチョン

• RQ1 共有特徴を用いた統合的なディープラーニングフレームワークは、検出と認識を同時に最適化でき、両方のタスクの性能を向上させることができるか？
• RQ2 文字の座標による明示的な空間的監視は、エンドツーエンドテキストスポッティングにおけるアテンションベースの認識性能をどのように向上させるか？
• RQ3 提案されたテキストアライメント層は、標準的なRoIプーリングに比べて、多方向テキスト特徴の処理においてどの程度優れているか？
• RQ4 検出と認識の共同学習は、誤りの蓄積を低減し、困難なテキストインスタンスに対する頑健性を向上させるか？
• RQ5 推論時に外部語彙に依存しない状態で、検出と認識の両方のベンチマークで最先端の性能を達成できるか？

主な発見

• 提案されたテキストアライメント層は、ICDAR2015において標準的なRoIプーリングに比べて認識精度を60.7%から67.6%まで向上させ、多方向テキスト向けの特徴抽出が優れていることを示した。
• 明示的な空間的監視を用いた文字アテンション機構は、VGG合成データで95%の文字単位の精度を達成し、従来のアテンションベースのモデル（93%）を上回った。
• 共同学習により、ICDAR2015における検出F-measureが3ポイント向上（0.82に）し、同時に認識性能も向上した。
• 本モデルは、ICDAR2013およびICDAR2015で検出性能が最先端であり、エンドツーエンドおよびワードスポッティングプロトコルの両方で先行手法を上回った。
• ICDAR2015では、エンドツーエンド評価においてF-measureが0.82（強力）、0.77（弱い）、0.63（一般）を達成し、従来の結果（0.54、0.77、0.63）を大きく上回った。
• 定性的な結果から、本手法は小規模・傾斜付き・低コントラストのテキストインスタンスを効果的に検出・認識できることを示した。