[論文レビュー] Scene Text Detection with Supervised Pyramid Context Network

Enze Xie, Yuhang Zang+4 more|arXiv (Cornell University)|Nov 21, 2018

Handwritten Text Recognition Techniques参考文献 26被引用数 22

ひとこと要約

本稿では、文脈的セグメンテーションのガイダンスと偽陽性を抑える再スコアリング機構を統合することで、精度を向上させる教師ありピラミッドコンテキストネットワーク（SPCNET）を提案する。FPNとMask R-CNNフレームワークに基づき、グローバルコンテキストと洗練された分類スコアを活用することで、ICDAR2013で92.1%のF-measure、Total-Textで82.9%のF-measureを達成し、多様なベンチマークで最先端の性能を実現した。

ABSTRACT

Scene text detection methods based on deep learning have achieved remarkable results over the past years. However, due to the high diversity and complexity of natural scenes, previous state-of-the-art text detection methods may still produce a considerable amount of false positives, when applied to images captured in real-world environments. To tackle this issue, mainly inspired by Mask R-CNN, we propose in this paper an effective model for scene text detection, which is based on Feature Pyramid Network (FPN) and instance segmentation. We propose a supervised pyramid context network (SPCNET) to precisely locate text regions while suppressing false positives. Benefited from the guidance of semantic information and sharing FPN, SPCNET obtains significantly enhanced performance while introducing marginal extra computation. Experiments on standard datasets demonstrate that our SPCNET clearly outperforms start-of-the-art methods. Specifically, it achieves an F-measure of 92.1% on ICDAR2013, 87.2% on ICDAR2015, 74.1% on ICDAR2017 MLT and 82.9% on Total-Text.

研究の動機と目的

• 複雑な視覚的条件下でも継続的に高い偽陽性率を示す現実世界のシーンテキスト検出の課題に対処すること。
• 既存の手法が苦手とする多方向、多言語、曲線形状のテキストインスタンスに対して、検出のロバスト性を向上させること。
• グローバルな意味的コンテキストの統合と、セグメンテーションブランチからの活性化応答を用いた再スコアリング機構により、偽陽性を低減すること。
• 検出とセグメンテーションブランチ間で特徴を共有することで、追加計算コストを最小限に抑えながら高い効率を維持すること。

提案手法

• FPNベースのMask R-CNNに意味的セグメンテーションブランチを追加し、より良いオブジェクト識別に寄与するグローバルコンテキストを提供する教師ありピラミッドコンテキストネットワーク（SPCNET）を提案する。
• 検出ブランチにセグメンテーションブランチからのグローバル意味的キューを統合することで、特徴表現を強化する「テキストコンテキストモジュール」を導入する。
• 分類スコアとセグメンテーションブランチからの活性化応答を組み合わせて融合スコアを生成する再スコアリング機構を設計し、傾いたまたは低スコアのテキストインスタンスの信頼性を向上させる。
• セグメンテーションマスク出力を活用して、曲線形状や多方向のテキストを含む任意形状のテキスト検出を柔軟に可能にする。
• オブジェクト検出、インスタンスセグメンテーション、分類のマルチタスク学習をエンドツーエンドで行い、バックボーン特徴を共有することで計算コストを低減する。
• MLTデータセットからの事前学習重みを用いて、特定のデータセット（例：ICDAR2013、Total-Text）で微調整することで一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 テキストに似たテクスチャを持つオブジェクトに対して、グローバルな意味的コンテキストが偽陽性を顕著に低減できるか？
• RQ2 セグメンテーション活性化に基づく再スコアリング機構が、分類スコアが弱い傾いたテキストや低視認テキストの検出信頼性を向上させられるか？
• RQ3 意味的ガイダンス付きのMask R-CNNベースフレームワークが、曲線形状や多方向のテキストを含む任意形状のテキストをどの程度正確に検出できるか？
• RQ4 意味的セグメンテーションと再スコアリングの統合が、テキスト形状や複雑さが異なる多様なベンチマークで一貫した性能向上をもたらすか？
• RQ5 検出とセグメンテーションブランチ間で特徴を共有することで、計算オーバーヘッドを最小限に抑えながら高い精度を維持できるか？

主な発見

• SPCNETは、単一スケールでのテスト条件下でICDAR2013で92.1%のF-measureを達成し、以前の最先端手法を1.5ポイント以上上回った。
• ICDAR2015では87.2%のF-measureを達成し、方向がずれた多方向テキスト検出においても優れた性能を示した。
• 曲線形状および多言語テキストを含む挑戦的なTotal-Textデータセットでは、82.9%のF-measureを達成し、先行手法を上回った。
• ICDAR2017 MLTベンチマークでは74.1%のF-measureを達成し、多言語および多方向シーンにおいても高いロバスト性を示した。
• 定性的な結果では、EAST、RRPN、TextBoxes++などのベースラインモデルと比較して、特にごみだらけのシーンにおいて偽陽性が顕著に抑制されていることが確認された。
• 再スコアリング機構は、分類スコアが低くても、強力なセグメンテーション応答を活用することで、傾いたテキストの信頼性を効果的に高めた。