[論文レビュー] Mask R-CNN with Pyramid Attention Network for Scene Text Detection

Zhida Huang, Zhuoyao Zhong+2 more|arXiv (Cornell University)|Nov 22, 2018

Handwritten Text Recognition Techniques参考文献 36被引用数 10

ひとこと要約

本論文は、特徴表現を向上させるとともに、文字に似た背景からの誤検出を抑制するため、マスクR-CNNベースのシーンテキスト検出フレームワークを、ピラミッドアテンションネットワーク（PAN）バックボーンで強化した。単一スケール、単一モデル推論のみを用いても、多方向（ICDAR-2015、ICDAR-2017 MLT）および曲がったテキスト（SCUT-CTW1500）ベンチマークで最先端の性能を達成した。

ABSTRACT

In this paper, we present a new Mask R-CNN based text detection approach which can robustly detect multi-oriented and curved text from natural scene images in a unified manner. To enhance the feature representation ability of Mask R-CNN for text detection tasks, we propose to use the Pyramid Attention Network (PAN) as a new backbone network of Mask R-CNN. Experiments demonstrate that PAN can suppress false alarms caused by text-like backgrounds more effectively. Our proposed approach has achieved superior performance on both multi-oriented (ICDAR-2015, ICDAR-2017 MLT) and curved (SCUT-CTW1500) text detection benchmark tasks by only using single-scale and single-model testing.

研究の動機と目的

• 自然画像における多方向および曲がったテキストを高精度かつ高い耐障害性で検出する課題に対処すること。
• 標準的なバックボーンをピラミッドアテンションネットワーク（PAN）に置き換えることで、マスクR-CNNにおける特徴表現を向上させること。
• 強化された特徴学習により、文字に似た背景パターンに起因する誤検出を低減すること。
• マルチスケールテストや認識ヘッドの統合に依存せずに、標準ベンチマークで最先端の性能を達成すること。

提案手法

• マスクR-CNNの特徴エンコーダーに、特徴階層と表現を向上させるためにピラミッドアテンションネットワーク（PAN）を新バックボーンとして統合する。
• PANのクロススケール特徴集約とアテンション機構を活用し、複雑な形状のテキストインスタンスの検出を改善する。
• マスク予測を用いて直線的および曲がったテキストを統一されたインスタンスセグメンテーションフレームワークで検出する。
• マルチスケールまたはアンサンブル推論を回避するため、単一スケール推論と単一モデルを採用する。
• 標準的なマスクR-CNNアーキテクチャを維持するが、特徴抽出器をPANに置き換えることで、特徴学習を向上させる。
• シーンテキストデータセット上で、標準的な検出およびセグメンテーションヘッドを用いたエンドツーエンド学習を適用する。

実験結果

リサーチクエスチョン

• RQ1 標準バックボーンと比較して、PANはマスクR-CNNのシーンテキスト検出における特徴表現を改善できるか？
• RQ2 提案手法は、文字に似た背景からの誤検出を効果的に抑制できるか？
• RQ3 単一スケール、単一モデル推論のみを用いても、多方向および曲がったテキスト検出ベンチマークで最先端の性能を達成できるか？
• RQ4 ICDAR-2015、ICDAR-2017 MLT、SCUT-CTW1500で、PAN強化マスクR-CNNは先行SOTA手法と比較してどのように差をつけるか？

主な発見

• ICDAR-2017 MLTでは、F-measureが0.743を達成し、マルチスケールテストを用いないにもかかわらず、最も近い先行手法（F-measure 0.707）を上回った。
• ICDAR-2015では、F-measureが0.859、リコールが0.815、精度が0.908を記録し、本ベンチマークで報告された最高の結果となった。
• SCUT-CTW1500では、F-measureが0.850を記録し、新たなSOTAを樹立。先行手法（例：CTD+TLOCのF-measure 0.734）を顕著に上回った。
• PANは、すべてのデータセットでFPNを上回る性能を示し、ICDAR-2017 MLTでResNet50を用いた場合、4.3%の絶対的な精度向上を達成した。
• 定性的な結果から、PANはテキストに似た背景（例：文字に似たテクスチャ）からの誤検出を効果的に抑制していることが示された。
• 本手法は、曲がったテキスト、多方向テキスト、低解像度インスタンスを含む多様なテキストタイプにおいても、強力な性能を維持した。