[論文レビュー] Geometry Normalization Networks for Accurate Scene Text Detection

Youjiang Xu, Jiaqi Duan+5 more|arXiv (Cornell University)|Sep 2, 2019

Handwritten Text Recognition Techniques参考文献 39被引用数 11

ひとこと要約

本稿では、スケールおよび方向の正規化ユニットを備えたマルチブランチのジオメトリーノーマライゼーションモジュール（GNM）を用いてテキストインスタンスを標準的なジオメトリーランジに正規化する、Ge lometry Normalization Networks（GNNets）という新しいフレームワークを提案する。この手法は、1回の前方伝搬による推論で、ICDAR 2015で88.52のFスコア、ICDAR 2017 MLTで74.54のFスコアを達成し、回転したベンチマークにおいても従来手法を著しく上回る最先端の性能を発揮する。

ABSTRACT

Large geometry (e.g., orientation) variances are the key challenges in the scene text detection. In this work, we first conduct experiments to investigate the capacity of networks for learning geometry variances on detecting scene texts, and find that networks can handle only limited text geometry variances. Then, we put forward a novel Geometry Normalization Module (GNM) with multiple branches, each of which is composed of one Scale Normalization Unit and one Orientation Normalization Unit, to normalize each text instance to one desired canonical geometry range through at least one branch. The GNM is general and readily plugged into existing convolutional neural network based text detectors to construct end-to-end Geometry Normalization Networks (GNNets). Moreover, we propose a geometry-aware training scheme to effectively train the GNNets by sampling and augmenting text instances from a uniform geometry variance distribution. Finally, experiments on popular benchmarks of ICDAR 2015 and ICDAR 2017 MLT validate that our method outperforms all the state-of-the-art approaches remarkably by obtaining one-forward test F-scores of 88.52 and 74.54 respectively.

研究の動機と目的

• シーンテキスト検出における大きなジオメトリ的ばらつき（例えばスケールや方向）の課題に対処する。
• 制御された実験を通じて、既存のネットワークが広範なジオメトリ的変動を処理する際の限界を調査する。
• テキストインスタンスを標準的なジオメトリーランジに正規化する汎用的でプラグイン可能なモジュールを開発し、検出のロバストネスを向上させる。
• すべての正規化ブランチにわたる勾配更新のバランスを保つために、ジオメトリに配慮したトレーニング戦略を設計する。
• 特に大きな方向ばらつき下でも、標準ベンチマークで最先端の性能を達成する。

提案手法

• 複数の並列ブランチを備えたジオメトリーノーマライゼーションモジュール（GNM）を提案し、各ブランチはスケール正規化ユニット（SNU）と方向正規化ユニット（ONU）を組み合わせて、テキスト特徴量を標準的なジオメトリースペースに変換する。
• 各SNUは異なるスケール要因（例：SおよびS₁/₂）を用いてスケーリング正規化を実行する。各ONUは異なる回転タイプ（例：O、Or、Of、Or+f）を用いて回転正規化を実行する。
• GNMは複数のジオメトリーノーマライズド特徴マップを生成し、それらを1つの共有テキスト検出ヘッドに供給することで、エンドツーエンドのトレーニングと推論を実現する。
• すべてのブランチにわたる勾配更新のバランスを保つために、ジオメトリ的ばらつきの均一分布からテキストインスタンスをサンプリングおよび拡張するジオメトリに配慮したトレーニング方式を導入する。
• トレーニング中に多様な方向とスケールを模擬するデータ拡張を実施することで、GNMブランチの一般化性能と安定性を向上させる。
• 本フレームワークは既存のCNNベースの検出器と互換性があり、EAST や PSENet といったモデルに簡単に統合され、GNNetsを構築できる。

実験結果

リサーチクエスチョン

• RQ1 標準のCNNベースの検出器は、シーンテキスト検出において大きなジオメトリ的ばらつきを示す訓練データから効果的に学習できるか？
• RQ2 ジオメトリ的ばらつき（特に方向）は、既存のシーンテキスト検出器の性能をどの程度低下させるか？
• RQ3 マルチブランチ正規化モジュールが、テキスト特徴量を標準空間に変換することで、ジオメトリ的ばらつきの影響を効果的に低減できるか？
• RQ4 ジオメトリ的分布全体にわたるサンプリングのバランスを取るジオメトリに配慮したトレーニング戦略は、正規化ブランチの一般化性能を向上させるか？
• RQ5 提案されたGNNetsは、標準的および回転したシーンテキストベンチマークの両方で最先端の性能を達成できるか？

主な発見

• 提案されたGNNetsは、1回の前方伝搬によるテストで、ICDAR 2015でFスコア88.52、ICDAR 2017 MLTで74.54を達成し、すべての先行最先端手法を上回る。
• 回転したICDAR 2015ベンチマークでは、EASTベースライン比で3倍の性能向上を達成し、大きな方向ばらつきに対して強いロバストネスを示している。
• 元のPSENetと比較して、GNNetsはICDAR 2015で1.3%、ICDAR 2017 MLTで2.1%のFスコア向上を達成しており、検出アノテーションのみと1回の前方伝搬推論を用いているにもかかわらずである。
• FOTSで使用される検出および認識アノテーションを用いた訓練にもかかわらず、GNNetsはICDAR 2015で0.6%、ICDAR 2017 MLTで7.3%のFスコア向上を達成している。
• Pixel-AnchorよりもICDAR 2017 MLTで6.4%の性能向上を達成しており、複雑なジオメトリの処理における有効性が顕著に示されている。
• 定性的な結果から、GNNetsは極端な方向やスケールを持つテキストインスタンスを効果的に検出できており、ジオメトリーノーマライゼーション戦略の有効性が確認されている。