[論文レビュー] Pixel-Anchor: A Fast Oriented Scene Text Detector with Combined Networks

Yuan Li, Yuanjie Yu+5 more|arXiv (Cornell University)|Nov 19, 2018

Handwritten Text Recognition Techniques参考文献 26被引用数 27

ひとこと要約

Pixel-Anchorは、特徴共有とアンカー単位のアテンションメカニズムを介して、セマンティックセグメンテーションとSSDを統合することで、高速でエンドツーエンドの方向付きシーンテキスト検出を実現する。セグメンテーションブランチにFPNとASPPを統合し、SSDにアダプティブ予測レイヤーを導入することで、960×1728解像度の画像においてICDAR 2015で10 FPSで87.68%のFスコアを達成し、精度と速度の両面で先行手法を上回った。

ABSTRACT

Recently, semantic segmentation and general object detection frameworks have been widely adopted by scene text detecting tasks. However, both of them alone have obvious shortcomings in practice. In this paper, we propose a novel end-to-end trainable deep neural network framework, named Pixel-Anchor, which combines semantic segmentation and SSD in one network by feature sharing and anchor-level attention mechanism to detect oriented scene text. To deal with scene text which has large variances in size and aspect ratio, we combine FPN and ASPP operation as our encoder-decoder structure in the semantic segmentation part, and propose a novel Adaptive Predictor Layer in the SSD. Pixel-Anchor detects scene text in a single network forward pass, no complex post-processing other than an efficient fusion Non-Maximum Suppression is involved. We have benchmarked the proposed Pixel-Anchor on the public datasets. Pixel-Anchor outperforms the competing methods in terms of text localization accuracy and run speed, more specifically, on the ICDAR 2015 dataset, the proposed algorithm achieves an F-score of 0.8768 at 10 FPS for 960 x 1728 resolution images.

研究の動機と目的

• 単独のセマンティックセグメンテーションおよびオブジェクト検出フレームワークが方向付きシーンテキストを検出する際の限界を解消すること。
• 方向付きテキスト検出においてセマンティックセグメンテーションとSSDの長所を効果的に統合する、統合的でエンドツーエンドで学習可能なネットワークを開発すること。
• サイズやアスペクト比の大きな変動を示すシーンテキストの検出精度と推論速度を向上させること。
• 非最大抑制（NMS）の複雑な後処理に依存するのを減らし、1つの効率的な統合ステップに限定すること。

提案手法

• セグメンテーションブランチにおけるマルチスケール特徴表現の向上を目的として、FPNとASPPを用いた特徴共有型エンコーダーデコーダー構造を統合する。
• 特徴品質と空間的文脈に基づいて動的に検出ヘッドの重みを調整するアンカー単位のアテンションメカニズムを採用する。
• テキストのアスペクト比とサイズの大きな変動に対応するために、SSDヘッドにアダプティブ予測レイヤーを導入する。
• エンドツーエンド推論のための1回の順伝播で実行し、後処理を洗練された非最大抑制統合ステップに限定する。
• セグメンテーションと検出ブランチ間で共有された特徴を活用することで、パラメータ効率と特徴の一貫性を向上させる。
• 特徴の複雑さと計算コストのバランスを最適化することで、リアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 統合型ディープラーニングフレームワークは、方向付きシーンテキスト検出においてセマンティックセグメンテーションとSSDを効果的に統合できるか？
• RQ2 特徴共有とアテンションメカニズムは、極端なアスペクト比とサイズ変動を示すテキストの検出精度をどのように向上させられるか？
• RQ3 FPNとASPPの統合は、テキスト検出におけるマルチスケール特徴学習をどの程度向上させられるか？
• RQ4 提案されたアダプティブ予測レイヤーは、多様な方向と寸法を持つ方向付きテキストを処理する際、標準のSSDヘッドを上回る性能を発揮できるか？
• RQ5 提案手法は、既存の最先端手法と比較して、速度と精度のバランスをどの程度良好に保っているか？

主な発見

• 960×1728解像度の画像において、ICDAR 2015データセットで10 FPSでFスコア0.8768を達成し、高い精度とリアルタイム性能を実証した。
• モデルは、局所化精度と推論速度の両面で競合手法を上回り、統合アーキテクチャの有効性を確認した。
• セグメンテーションブランチにFPNとASPPを統合することで、マルチスケールテキスト検出のための特徴表現が顕著に向上した。
• アンカー単位のアテンションメカニズムにより、信頼度の高い領域に注目し、誤検出を低減することで検出の信頼性が向上した。
• アダプティブ予測レイヤーは、極端なアスペクト比とサイズ変動に対処でき、検出のロバスト性向上に寄与した。
• 1つの効率的な非最大抑制統合ステップの使用により、後処理のオーバーヘッドを低減しながらも、精度を損なわずに済ませた。