[論文レビュー] MSR: Multi-Scale Shape Regression for Scene Text Detection

Chuhui Xue, Shijian Lu+1 more|arXiv (Cornell University)|Jan 9, 2019

Handwritten Text Recognition Techniques参考文献 42被引用数 12

ひとこと要約

本稿では、長さや方向が異なる直線および曲線のテキストラインを正確に局所化できるように、四角形頂点の代わりに密な境界点を予測する、マルチスケール形状回帰ネットワークであるMSRを提案する。境界点への回帰とマルチスケール特徴の統合により、複数のベンチマークで最先端の性能を達成し、CTW1500ではベースラインに対して21.1ポイントのFスコア向上を達成し、ICDAR2015およびMSRA-TD500でも優れた結果を示した。

ABSTRACT

State-of-the-art scene text detection techniques predict quadrilateral boxes that are prone to localization errors while dealing with straight or curved text lines of different orientations and lengths in scenes. This paper presents a novel multi-scale shape regression network (MSR) that is capable of locating text lines of different lengths, shapes and curvatures in scenes. The proposed MSR detects scene texts by predicting dense text boundary points that inherently capture the location and shape of text lines accurately and are also more tolerant to the variation of text line length as compared with the state of the arts using proposals or segmentation. Additionally, the multi-scale network extracts and fuses features at different scales which demonstrates superb tolerance to the text scale variation. Extensive experiments over several public datasets show that the proposed MSR obtains superior detection performance for both curved and straight text lines of different lengths and orientations.

研究の動機と目的

• 四角形ベースの検出における長大・曲線・傾いたテキストラインの局所化の不正確さを是正するため、高い回帰誤差を生じる問題に対処する。
• 超高性能なスケール変動が顕著なシーンテキストにおいて、極めて小さなテキストや極めて大きなテキストが見逃されたり部分的に検出されたりする問題を克服する。
• 頂点予測の代わりに境界点回帰を採用することで、特に曲線的・不規則に傾いたラインに対する形状多様性へのロバスト性を向上させる。
• 異なるスケールの特徴を統合するマルチスケールネットワークを設計し、さまざまなテキストサイズに対応した検出性能を向上させる。
• 直線および曲線の両方のテキストラインに対して、優れた検出精度を達成するエンドツーエンドで訓練可能なシステムを開発する。

提案手法

• 各テキストピクセルを最も近い境界点に回帰する形状回帰モジュールを提案し、正確なテキスト局所化を実現するための密な境界点を生成する。
• すべての予測された境界点を結ぶ凹型多角形を用いてテキストインスタンス全体を表現することで、柔軟な形状モデリングを可能にする。
• 異なる受容fieldスケールでの特徴を抽出・統合する平行ブランチを持つマルチスケールネットワークを導入し、スケール変動へのロバスト性を向上させる。
• 低レベルと高レベルの特徴をスケール間で統合するマルチスケール特徴統合戦略を採用し、小規模および大規模なテキストインスタンスの検出を強化する。
• 境界点回帰損失と形状整合性損失を組み合わせた損失関数を用いて、ネットワーク全体をエンドツーエンドで訓練する。
• ベースラインとしてEASTフレームワークを採用し、マルチスケールアーキテクチャおよび形状回帰を拡張することで、直接的な比較とアブレーションが可能になる。

実験結果

リサーチクエスチョン

• RQ1 四角形頂点予測と比較して、密な境界点回帰は、長大または曲線的なテキストラインの局所化誤差を低減できるか？
• RQ2 マルチスケール特徴統合は、テキストサイズの大きな変動に対しても検出性能の向上にどの程度効果的か？
• RQ3 形状回帰とマルチスケールアーキテクチャを組み合わせることで、多様なシーンテキストデータセット全体で一貫した性能向上が得られるか？
• RQ4 提案手法は、四角形ボックスに依存する最先端手法と比較して、直線および曲線の両方のテキストラインをより高い精度で検出できるか？
• RQ5 マルチスケールネットワークと形状回帰の各コンポonentが、全体の検出性能に果たす寄与度は何か？

主な発見

• CTW1500では、提案手法のMSRはFスコア81.5を達成し、ベースラインのEASTモデル（60.4）と比較して21.1ポイントの向上を示し、マルチスケールと形状回帰の両コンポーネントの統合による顕著な向上を裏付けた。
• MSRA-TD500では、MSRは最先端のFスコアを達成し、TextSnakeのような特化型手法でさえ最大3.4ポイントの上回り、特に曲線的・長大なテキストラインの検出において優れた性能を示した。
• アブレーションスタディの結果、形状回帰のみでFスコアが17.0ポイント向上し、マルチスケールのみで6.9ポイント向上し、両者の組み合わせが最大の向上をもたらした。
• CTW1500ではリcallが78.3%、precisionが85.0%を達成し、小規模および大規模なテキストインスタンスの両方の検出性能が優れていた。
• ICDAR2015では、単一スケールでのテストにおいても、競争力のある精度と速度を示し、直線的で複数の方向を持つテキストラインを有するさまざまなデータセットへの広範な適用可能性を示した。
• 可視化結果から、MSRは、ベースラインおよび他の最先端手法と比較して、特に長大または曲線的なラインの破断・欠落検出を顕著に低減していることが確認された。