[論文レビュー] FC2RN: A Fully Convolutional Corner Refinement Network for Accurate Multi-Oriented Scene Text Detection

Xugong Qin, Yu Zhou+3 more|arXiv (Cornell University)|Jul 10, 2020

Handwritten Text Recognition Techniques参考文献 58被引用数 6

ひとこと要約

FC2RN は、四角形 RoI 卷積（QRC）操作を用いて初期の四角形予測を精緻化することで、長さや多方向性に富んだテキストの正確な局所化を可能にする、完全畳み込み型コーナー精緻化ネットワークを提案する。この手法により、マルチオリエンテーションのシーンテキスト検出が向上し、計算コストの増加を最小限に抑えつつ、4つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Recent scene text detection works mainly focus on curve text detection. However, in real applications, the curve texts are more scarce than the multi-oriented ones. Accurate detection of multi-oriented text with large variations of scales, orientations, and aspect ratios is of great significance. Among the multi-oriented detection methods, direct regression for the geometry of scene text shares a simple yet powerful pipeline and gets popular in academic and industrial communities, but it may produce imperfect detections, especially for long texts due to the limitation of the receptive field. In this work, we aim to improve this while keeping the pipeline simple. A fully convolutional corner refinement network (FC2RN) is proposed for accurate multi-oriented text detection, in which an initial corner prediction and a refined corner prediction are obtained at one pass. With a novel quadrilateral RoI convolution operation tailed for multi-oriented scene text, the initial quadrilateral prediction is encoded into the feature maps which can be further used to predict offset between the initial prediction and the ground-truth as well as output a refined confidence score. Experimental results on four public datasets including MSRA-TD500, ICDAR2017-RCTW, ICDAR2015, and COCO-Text demonstrate that FC2RN can outperform the state-of-the-art methods. The ablation study shows the effectiveness of corner refinement and scoring for accurate text localization.

研究の動機と目的

• 自然シーンにおけるマルチオリエンテーション、長尺、スケール変動が激しいテキストの正確な検出という課題に対処すること。
• 受動的畳み込みフィールドが限定的で、長尺テキストにおける局所化性能が低い直接回帰ベースのテキスト検出器の改善。
• コーナー精緻化を通じて検出精度を向上させながらも、シンプルでエンドツーエンド、アンカーフリーのパイプラインを維持すること。
• 既存の検出器に容易に統合できる軽量で完全畳み込み型モジュールを設計すること。

提案手法

• 直接回帰による初期四角形予測を実行する完全畳み込み型コーナー精緻化ネットワーク（FC2RN）を提案する。
• 初期予測を特徴マップにエンコードするための新規な四角形 RoI 卷積（QRC）操作を導入し、空間的に注意を向ける精緻化を可能にする。
• QRCモジュールは、予測された四角形コーナー周囲の特徴を軽量な可変畳み込みによりサンプリングし、精緻化に必要なコンテキストを捉える。
• ネットワークは初期予測のオフセット補正と精緻化された信頼度スコアを同時に予測し、局所化精度と検出品質を向上させる。
• 精緻化ヘッドは完全畳み込み型であるため、非微分可能な操作を含まずにエンドツーエンドで学習・デプロイが可能である。
• この手法はプラグアンドプレイであり、アーキテクチャの大規模な見直しが不要なため、EAST などの既存のアンカーフリー検出器に容易に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 特徴エンコードによるコーナー精緻化は、特に長尺で不規則な形状のテキストにおいて、局所化精度の向上に寄与するか？
• RQ2 軽量で完全畳み込み型の精緻化モジュールは、高い効率を維持しながら、ベースラインの直接回帰検出器を上回る性能を発揮するか？
• RQ3 標準的な RoI プーリングと比較して、四角形予測における空間的コンテキストを捉える点で、提案された QRC 操作は優れているか？
• RQ4 精緻化機構は、アスペクト比が大きな長尺テキストラインにおける誤検出を低減し、リcallを向上させるか？
• RQ5 多様なテキストの方向とスケールを有するさまざまなベンチマークにおいて、精緻化モジュールはどの程度性能を向上させるか？

主な発見

• 単一スケールでのテストにおいて、MSRA-TD500 で 88.9 の F-measure を達成し、深さ 152 の ResNet152 バックボーンを用いる GNNets よりも優れた性能を示した。
• ICDAR2017-RCTW では 88.7% のリcallを達成し、前回の最先端手法 GNNets よりも約 2% の向上を示した。
• COCO-Text では IoU 0.5 時に 63.0 の F-measure、IoU 0.75 時に 37.3 の F-measure を達成し、RRD や Mask TextSpotter といったマルチスケール手法を上回った。
• IoU 0.75 時に RRD よりも 1.3 F-measure の向上を示し、四角形局所化精度の優位性を裏付けた。
• パラメータはたった 0.61M 個、計算量は 50.3 GMac の追加にとどまり、1280×800 解像度でも 5.8 FPS の高速性を維持した。
• アブレーションスタディの結果、コーナー精緻化と信頼度スコアリングの両方が、特に長尺テキストインスタンスにおいて局所化精度の向上に顕著な寄与を示した。