[論文レビュー] Accurate Text Localization in Natural Image with Cascaded Convolutional Text Network

Tong He, Weilin Huang+2 more|arXiv (Cornell University)|Mar 31, 2016

Handwritten Text Recognition Techniques参考文献 27被引用数 82

ひとこと要約

本稿では、文字ベースの検出に依存せず、直接テキスト領域を推定する粗くから細かく、トップダウンのアプローチを採用することで、自然画像における正確なテキストローカライゼーションを実現する新規な段階的畳み込みテキストネットワーク（CCTN）を提案する。カスタム化された長方形畳み込みとネットワーク内特徴融合を用いることで、ICDAR 2011 と ICDAR 2013 でそれぞれ 0.84 と 0.86 の最先端の F-スコアを達成し、多言語および多方向テキストに対しても優れた一般化性能を示す。

ABSTRACT

We introduce a new top-down pipeline for scene text detection. We propose a novel Cascaded Convolutional Text Network (CCTN) that joints two customized convolutional networks for coarse-to-fine text localization. The CCTN fast detects text regions roughly from a low-resolution image, and then accurately localizes text lines from each enlarged region. We cast previous character based detection into direct text region estimation, avoiding multiple bottom- up post-processing steps. It exhibits surprising robustness and discriminative power by considering whole text region as detection object which provides strong semantic information. We customize convolutional network by develop- ing rectangle convolutions and multiple in-network fusions. This enables it to handle multi-shape and multi-scale text efficiently. Furthermore, the CCTN is computationally efficient by sharing convolutional computations, and high-level property allows it to be invariant to various languages and multiple orientations. It achieves 0.84 and 0.86 F-measures on the ICDAR 2011 and ICDAR 2013, delivering substantial improvements over state-of-the-art results [23, 1].

研究の動機と目的

• 逐次的な文字検出、グループ化、後処理に依存する従来のボトムアップ型シーンテキスト検出手法の限界を解消すること。
• 文字レベルの検出パイプラインに内在する不安定性と誤差の蓄積を克服すること。
• 全体のテキスト領域からの文脈的・意味的情報を活用することで、より高い耐障害性と識別力を持つ直接的テキスト領域推定アプローチを構築すること。
• 多スケール、多形状、多方向のテキストを制約のない環境で処理できる計算効率の良いアーキテクチャを設計すること。
• 標準ベンチマークで最先端の性能を達成するとともに、言語や方向にわたる一般化能力を維持すること。

提案手法

• 粗くから細かく、2段階の段階的アーキテクチャを提案：最初に低解像度でテキスト領域を検出する粗いネットワークの後、各領域を精査して個々のテキスト行をローカライズする細かいネットワークを実装する。
• テキストの空間的幾何をよりよく捉えるために長方形畳み込みを導入し、長く水平なテキスト領域に対して標準の正方形フィルターよりも効果的であることを示す。
• 多様なテキスト形状やスケールに対応するため、複数のネットワーク内特徴融合を実装し、特徴表現を強化し、ローカライゼーション精度を向上させる。
• 共有された畳み込み計算を活用した完全畳み込みネットワークを採用することで、空間情報を保持するとともに計算コストを削減する。
• エンド・トゥ・エンドで学習し、文字レベル分類や後処理ヒューリスティクスの必要を回避することで、直接的なテキスト領域予測を最適化する。
• 複雑な文字候補のグループ化を避けるトップダウンのパイプラインを採用することで、幾何的ルールや手動のしきい値に依存するのを減らす。

実験結果

リサーチクエスチョン

• RQ1 トップダウン型、領域ベースのアプローチは、従来のボトムアップ型、文字ベースのパイプラインを上回ることができるか？
• RQ2 深層畳み込みネットワークを用いた直接的なテキスト領域推定は、多スケールおよび多方向テキストを処理する上でどれほど効果的か？
• RQ3 粗くから細かくの段階的アーキテクチャは、計算効率を維持しつつ、ローカライゼーション精度をどの程度向上できるか？
• RQ4 英語テキストのみで学習したモデルは、微調整なしに他の言語や回転したテキストに対しても効果的に一般化できるか？
• RQ5 長方形畳み込みとネットワーク内特徴融合の使用は、制約のない自然画像における困難な状況での性能向上に寄与するか？

主な発見

• CCTN は ICDAR 2011 ベンチマークで F-スコア 0.84 を達成し、以前の最先端手法を大きく上回った。
• ICDAR 2013 データセットでは F-スコア 0.86 を達成し、既存のアプローチに対して顕著な改善を示した。
• 多言語および多方向テキストに対しても良好な一般化性能を示し、MSRA-TD500 データセットでは訓練データを一切使用せずに F-スコア 0.71 を達成した。
• 粗い段階では高い精度（0.90）を示したが、細かいネットワークで一部の誤検出が生じたため、精査精度における妥協が見られた。
• 小スケールおよび大スケールの両方のテキストに対して優れた性能を維持しており、多様な画像条件においても耐障害性を示した。
• 段階的設計により、複雑な後処理ステップへの依存が低減され、より信頼性が高く効率的な検出パイプラインが実現された。