[論文レビュー] IncepText: A New Inception-Text Module with Deformable PSROI Pooling for Multi-Oriented Scene Text Detection

Qiangpeng Yang, Mengli Cheng+5 more|arXiv (Cornell University)|May 3, 2018

Handwritten Text Recognition Techniques参考文献 18被引用数 36

ひとこと要約

本稿では、任意の方向を向いたテキストの検出精度を向上させるために、インセプション型アーキテクチャと可変性PSROIプーリングを統合した、マルチオリエンテーションシーンテキスト検出のための新しい深層学習モジュールであるIncepTextを提案する。この手法は、ICDAR2015およびMSRA-TD500ベンチマークで最先端の性能を達成し、回転や曲がったテキストインスタンスに対して優れたロバスト性と精度を示している。

ABSTRACT

Incidental scene text detection, especially for multi-oriented text regions, is one of the most challenging tasks in many computer vision applications. Different from the common object detection task, scene text often suffers from a large variance of aspect ratio, scale, and orientation. To solve this problem, we propose a novel end-to-end scene text detector IncepText from an instance-aware segmentation perspective. We design a novel Inception-Text module and introduce deformable PSROI pooling to deal with multi-oriented text detection. Extensive experiments on ICDAR2015, RCTW-17, and MSRA-TD500 datasets demonstrate our method's superiority in terms of both effectiveness and efficiency. Our proposed method achieves 1st place result on ICDAR2015 challenge and the state-of-the-art performance on other datasets. Moreover, we have released our implementation as an OCR product which is available for public access.

研究の動機と目的

• 自然画像内のマルチオリエンテーション、曲がった、回転したテキストを検出する課題に対処すること。
• 従来の手法が失敗するような複雑なシーンテキスト状況において、検出精度とロバスト性を向上させること。
• インセプションモジュールの表現力と回転テキスト用の適応的プーリングを組み合わせた新しいモジュールを提案すること。
• 任意の方向を向いたテキストインスタンスの特徴抽出と局所化を向上させること。
• 標準的なシーンテキスト検出ベンチマークで最先端の性能を達成すること。

提案手法

• マルチスケール特徴抽出のため、標準的な畳み込み層に代えてインセプション型モジュールを統合した新しいInception-Textモジュールを設計する。
• 回転または不規則な形状のテキスト領域からの特徴を適応的にサンプリングするために、可変性PSROIプーリングを統合する。
• テキストの方向や形状に応じて、サンプリング位置を動的に調整する可変性畳み込み機構を用いる。
• インセプションモジュールと可変性プーリングを組み合わせることで、任意の方向を向いたテキストの特徴表現を強化する。
• 分類、局所化、方向推定の複数タスク損失を組み合わせたエンドツーエンドのネットワークを訓練する。
• 可変性プーリングの空間的・構造的柔軟性を活用し、曲がったおよび回転したテキストの局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 インセプションアーキテクチャと可変性プーリングを組み合わせたハイブリッドモジュールは、マルチオリエンテーションテキストの検出を改善できるか？
• RQ2 提案されたIncepTextモジュールは、挑戦的で回転や曲がったテキストを含むベンチマークでどのように性能を発揮するか？
• RQ3 可変性PSROIプーリングは、標準的なROIプーリングよりも任意の方向を向いたテキストの検出で優れているか？
• RQ4 インセプション設計は、シーンテキスト検出における特徴表現をどの程度向上させるか？
• RQ5 提案手法は、テキストの方向が異なる多様なシーンテキストデータセットに一般化可能か？

主な発見

• IncepTextモジュールは、ICDAR2015シーンテキスト検出ベンチマークで最先端の性能を達成し、平均平均精度（mAP）の観点で既存手法を上回った。
• MSRA-TD500データセットでは、曲がったおよび回転したテキストに対して優れた精度を示し、ベースラインモデルと比較してFスコアで顕著な向上を示した。
• 可変性PSROIプーリングにより、標準的なROIプーリングと比較して、回転および不規則な形状のテキスト領域の局所化がより良好に実現された。
• インセプション型モジュールはマルチスケール特徴学習を強化し、多様なテキスト形状や方向に対してよりロバストな検出を可能にした。
• 分類、局所化、方向推定の共同学習を組み合わせたエンドツーエンドの訓練フレームワークにより、一貫した性能向上が得られた。
• アブレーションスタディの結果、インセプションモジュールと可変性プーリングの両方が、全体の性能向上に顕著な貢献をしていることが確認された。