[論文レビュー] Mask TextSpotter v3: Segmentation Proposal Network for Robust Scene Text Spotting

Minghui Liao, Guan Pang+3 more|arXiv (Cornell University)|Jul 18, 2020

Handwritten Text Recognition Techniques参考文献 46被引用数 9

ひとこと要約

Mask TextSpotter v3 は、エンドツーエンドのシーンテキストスポッティングにおけるアンカーベースの RPN を置き換えるために、任意形状および回転したテキストインスタンスのための正確な多角形プロポーザルを可能にするセグメンテーションプロポーザルネットワーク（SPN）を導入した。SPN が生成するプロポーザルにハード RoI マスキングを適用することで、最先端の性能を達成し、Rotated ICDAR 2013 で前人最高の手法より 21.9%、Total-Text で 5.9%、IC15 で 7.1% の向上を達成した。

ABSTRACT

Recent end-to-end trainable methods for scene text spotting, integrating detection and recognition, showed much progress. However, most of the current arbitrary-shape scene text spotters use region proposal networks (RPN) to produce proposals. RPN relies heavily on manually designed anchors and its proposals are represented with axis-aligned rectangles. The former presents difficulties in handling text instances of extreme aspect ratios or irregular shapes, and the latter often includes multiple neighboring instances into a single proposal, in cases of densely oriented text. To tackle these problems, we propose Mask TextSpotter v3, an end-to-end trainable scene text spotter that adopts a Segmentation Proposal Network (SPN) instead of an RPN. Our SPN is anchor-free and gives accurate representations of arbitrary-shape proposals. It is therefore superior to RPN in detecting text instances of extreme aspect ratios or irregular shapes. Furthermore, the accurate proposals produced by SPN allow masked RoI features to be used for decoupling neighboring text instances. As a result, our Mask TextSpotter v3 can handle text instances of extreme aspect ratios or irregular shapes, and its recognition accuracy won't be affected by nearby text or background noise. Specifically, we outperform state-of-the-art methods by 21.9 percent on the Rotated ICDAR 2013 dataset (rotation robustness), 5.9 percent on the Total-Text dataset (shape robustness), and achieve state-of-the-art performance on the MSRA-TD500 dataset (aspect ratio robustness). Code is available at: https://github.com/MhLiao/MaskTextSpotterV3

研究の動機と目的

• 極端なアスペクト比、不規則な形状、密集した方向性を持つテキストの検出において、RPN に基づく手法の限界を解消すること。
• RPN が生成する軸に沿った長方形のプロポーザルが複数のテキストインスタンスを一つの RoI に統合してしまう問題を克服すること。
• 正確な多角形プロポーザルにより隣接するテキストインスタンスを分離することで、認識のロバスト性を向上させること。
• 手動で設計されたアンカーに依存しないプロポーザルネットワークを構築し、任意形状テキスト検出を可能とすること。
• 回転、アスペクト比、形状、小サイズテキストインスタンスといった多様な課題を有するベンチマークで優れた性能を達成すること。

提案手法

• アンカーフリーで、軸に沿った長方形の代わりに正確な多角形プロポーザルを生成するセグメンテーションプロポーザルネットワーク（SPN）を提案する。
• SPN を用いて、極端なアスペクト比や不規則な形状のテキストインスタンスに適した正確な任意形状プロポーザルを生成する。
• SPN が生成するプロポーザルにハード RoI マスキングを適用し、背景ノイズや隣接するテキストインスタンスを抑制する。
• SPN を Mask TextSpotter v2 フレームワークに統合し、エンドツーエンドで学習可能なシーンテキストスポッターを構築する。
• マスクされた RoI 特徴を認識に活用し、各 RoI が単一のテキストインスタンスのみを含むように保証する。
• 多角形アノテーションを監視に用い、検出と認識の両方を統一されたアーキテクチャでエンドツーエンドに学習する。

実験結果

リサーチクエスチョン

• RQ1 アンカーフリーなプロポーザルネットワークは、自然なシーンにおける任意形状および回転したテキストの検出と認識を向上させることができるか？
• RQ2 RPN を SPN に置き換えることで、特に密集した方向性を持つシーンで複数のテキストインスタンスが一つの RoI に統合されるのを減らすことができるか？
• RQ3 SPN が生成するプロポーザルにハード RoI マスキングを適用することで、個々のテキストインスタンスを分離し、認識精度を向上させることができるか？
• RQ4 本手法は、極端なアスペクト比、不規則な形状、小サイズのテキストインスタンスを有するベンチマークでどの程度の性能を発揮するか？
• RQ5 RPN に基づく最先端手法と比較して、SPN を用いたアプローチはどの程度のロバスト性の向上を実現するか？

主な発見

• Mask TextSpotter v3 は Rotated ICDAR 2013 データセットで 21.9% の相対的改善を達成し、回転に対する優れたロバスト性を示した。
• Total-Text データセットでは認識 F-スコアが 5.9% 向上し、不規則形状テキストに対する形状ロバスト性の向上を確認した。
• MSRA-TD500 データセットでは最先端の性能を達成し、長テキストラインにおける極端なアスペクト比へのロバスト性を裏付けた。
• 90k 語の汎用語彙を用いた場合、IC15 データセットで TextDragon より 7.1% の向上を示し、小サイズおよび低解像度テキストインスタンスに対しても優れた性能を発揮した。
• 4 つのアブレーションバリアントの中で、SPN にハード RoI マスキングを適用した手法が最も高い性能を示し、個々のテキストインスタンスの分離における有効性を証明した。
• 極端な回転角度（例：90°）でも高い精度を維持したが、認識方向の曖昧さのためわずかな不具合が残存していた。