[論文レビュー] Boosting up Scene Text Detectors with Guided CNN

Xiaoyu Yue, Zhanghui Kuang+5 more|arXiv (Cornell University)|May 10, 2018

Handwritten Text Recognition Techniques被引用数 6

ひとこと要約

本稿では、主な検出器の計算を常にこのマスクに制限する軽量なガイドサブネットによって、スパarsityマスクを予測することで、単一段階のシーンテキスト検出器の精度と速度を向上させる一般化可能なフレームワークであるGuided CNNを提案する。この手法は、ICDAR 2013で最大2.9倍の高速化と1.5%のF-measure向上を達成し、ICDAR 2015では2.0倍の高速化と1.0%のF-measure向上を達成しており、最先端の手法を上回りながらも高い再現率を維持している。

ABSTRACT

Deep CNNs have achieved great success in text detection. Most of existing methods attempt to improve accuracy with sophisticated network design, while paying less attention on speed. In this paper, we propose a general framework for text detection called Guided CNN to achieve the two goals simultaneously. The proposed model consists of one guidance subnetwork, where a guidance mask is learned from the input image itself, and one primary text detector, where every convolution and non-linear operation are conducted only in the guidance mask. On the one hand, the guidance subnetwork filters out non-text regions coarsely, greatly reduces the computation complexity. On the other hand, the primary text detector focuses on distinguishing between text and hard non-text regions and regressing text bounding boxes, achieves a better detection accuracy. A training strategy, called background-aware block-wise random synthesis, is proposed to further boost up the performance. We demonstrate that the proposed Guided CNN is not only effective but also efficient with two state-of-the-art methods, CTPN and EAST, as backbones. On the challenging benchmark ICDAR 2013, it speeds up CTPN by 2.9 times on average, while improving the F-measure by 1.5%. On ICDAR 2015, it speeds up EAST by 2.0 times while improving the F-measure by 1.0%.

研究の動機と目的

• 既存の深層CNNベースのテキスト検出器が、不要に大きなバックグラウンド領域を処理する非効率性に対処すること。
• 顕著なテキスト領域に計算を集中させることで、速度を犠牲にせずに検出精度を向上させること。
• CTPN や EAST などの既存のシングルフォワード CNN 検出器と互換性がある一般化可能で、プラグアンドプレイなフレームワークを設計すること。
• 一般化性と耐性を高めつつ計算効率を維持する訓練戦略を開発すること。
• 学習されたガイドによって非テキスト領域をフィルタリングすることで、同時に速度と精度を向上させられることを実証すること。

提案手法

• フレームワークは、入力画像からテキスト領域の可能性が高いかを示すバイナリマスクを予測するガイドサブネットから構成される。
• 主なテキスト検出器内のすべての畳み込みおよび非線形演算が、このガイドマスク内でのみ実行され、計算量が著しく削減される。
• ガイドサブネットでは、マルチスケールの文脈的情報を捉えるために、拡張畳み込み（dilated convolutions）を用いたコンテキストモジュールが使用される。
• 多様なバックグラウンドパターンをシミュレートし、一般化性を向上させるために、独創的な背景に配慮したブロック単位のランダム合成訓練戦略が導入された。
• 訓練プロセスでは、ガイドマスクを学習可能で動的なドロップアウトに類似したメカニズムとして扱い、バックグラウンドのごみに強い耐性を促進する。
• 本手法は、任意のシングルフォワード CNN 検出器と互換性があり、CTPN や EAST ベースと簡単に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 軽量なガイドネットワークは、精度を劣化させることなく、テキスト検出器の計算量を削減できるか？
• RQ2 学習されたマスクを用いて非テキスト領域をフィルタリングすることで、検出性能と推論速度の両方を向上させられるか？
• RQ3 背景に配慮したデータオーグメンテーション戦略は、テキスト検出における一般化性を向上させるか？
• RQ4 提案されたフレームワークは、CTPN や EAST などの異なる最先端の検出器に対しても効果的に適用可能か？
• RQ5 性能向上の理由は、ハードなネガティブ例への注目の向上にあるのか、それとも特徴学習の向上にあるのか？

主な発見

• Guided CTPN は、ICDAR 2013 で元の CTPN と比較して 2.9 倍の高速化と 1.5% の F-measure 向上を達成した。
• ICDAR 2015 では、Guided EAST が元の EAST と比較して 2.0 倍の高速化と 1.0% の F-measure 向上を達成した。
• Guided CTPN+ は、ICDAR 2013 で 2.8% の F-measure 向上を達成し、ICDAR 2015 では 2.3% の F-measure 向上で、2番目に良い手法である RRPN を上回った。
• 画像領域の 90% をフィルタリングしても、Guided CTPN は高い再現率を維持しており、効果的なガイドが得られていることが示された。
• ガイドサブネットの推論時間は全体の 15% にとどまり、マスク戦略の効率性が裏付けられた。
• 背景に配慮したブロック単位のランダム合成戦略は、特にごみが多いシーンにおいてモデルの一般化性を向上させた。