[論文レビュー] WordFence: Text Detection in Natural Images with Border Awareness

Andrei Polzounov, Artsiom Ablavatski+3 more|arXiv (Cornell University)|May 15, 2017

Handwritten Text Recognition Techniques参考文献 20被引用数 11

ひとこと要約

WordFenceは、境界認識特徴学習と新しいピクセル単位の重み付きソフトマックス損失を用いた意味セグメンテーションによるエンドツーエンドの単語検出システムを提案する。これにより、自然画像内の個々の単語の局所化が向上する。マルチスケール推論と投票ベースのセグメンテーション統合により、後処理を排除することで、ICDAR13でSOTAの86% Fスコア、ICDAR11/13で92%のリCALLを達成する。

ABSTRACT

In recent years, text recognition has achieved remarkable success in recognizing scanned document text. However, word recognition in natural images is still an open problem, which generally requires time consuming post-processing steps. We present a novel architecture for individual word detection in scene images based on semantic segmentation. Our contributions are twofold: the concept of WordFence, which detects border areas surrounding each individual word and a novel pixelwise weighted softmax loss function which penalizes background and emphasizes small text regions. WordFence ensures that each word is detected individually, and the new loss function provides a strong training signal to both text and word border localization. The proposed technique avoids intensive post-processing, producing an end-to-end word detection system. We achieve superior localization recall on common benchmark datasets - 92% recall on ICDAR11 and ICDAR13 and 63% recall on SVT. Furthermore, our end-to-end word recognition system achieves state-of-the-art 86% F-Score on ICDAR13.

研究の動機と目的

• 自然画像における個々の単語の正確な検出という課題に取り組む。テキストはサイズ、フォント、方向、品質の点で大きくばらつきがある。
• 意味セグメンテーションによるエンドツーエンド検出を可能にすることで、時間のかかる後処理ヒューリスティクスへの依存を排除する。
• 境界認識特徴学習を用いて、小規模で複雑なテキスト領域の検出リコールと局所化精度を向上させる。
• テキストと境界ピクセルに重点を置いた損失関数を開発し、小規模で低コントラストのテキストに対するトレーニング信号を強化する。
• 高品質な検出候補と強力な認識モデルを組み合わせることで、エンドツーエンドの単語認識性能をSOTA水準に高める。

提案手法

• 個々の単語を囲む境界領域を検出することで、正確な単語分離を実現する、新しいアーキテクチャであるWordFenceを導入する。
• クラスごとのピクセル数で正規化されたピクセル単位の重み付きソフトマックス損失関数を採用し、バックグラウンドに対してはより高いペナルティを与え、小規模なテキスト領域に重点を置く。
• 空間分解能を維持し、マルチスケール特徴を捉えるために、拡張畳み込みを用いた完全畳み込みネットワーク（FCNs）を採用する。
• 入力画像に対してマルチスケール推論を適用し、異なる解像度でセグメンテーションマップを生成することで、検出のロバスト性を向上させる。
• スケール間で投票機構を適用する：各ピクセルごとに最大クラス確率を合算してアップサンプリングされたセグメンテーションマップを統合し、最終的なノイズ低減済みセグメンテーションマップを生成する。
• 最終的なセグメンテーションマップからバウンディングボックスを抽出し、空間的一致性により、誤検出と重複を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 境界認識特徴学習は、自然シーン画像における個々の単語のセグメンテーションと局所化を向上させることができるか？
• RQ2 バックグラウンドをペナルティ化し、小規模なテキスト領域に重点を置いた重み付きソフトマックス損失は、より良い検出リコールと精度をもたらすか？
• RQ3 投票機構を用いたマルチスケール推論により、後処理なしに誤検出と重複を低減できるか？
• RQ4 高リコール検出を備えたエンドツーエンドシステムは、どの程度SOTAの単語認識性能を達成できるか？
• RQ5 標準ベンチマーク（ICDAR11、ICDAR13、SVT）における、提案手法と既存手法のリコールおよびFスコアの観点から、比較するとどの程度の差が出るか？

主な発見

• WordFenceは、ICDAR11およびICDAR13で92%の局所化リコールを達成し、従来のマルチスケール検出手法比で15%の向上を示した。
• より困難なSVTデータセットでは63%のリコールを達成し、多様なテキスト条件に強いことを示した。
• エンドツーエンドの単語認識システムは、ICDAR13でSOTAの86% Fスコアを達成し、先行手法を上回った。
• 提案された重み付きソフトマックス損失は、小規模で低コントラストのテキスト領域におけるトレーニング信号を顕著に強化し、誤検出（FN）を低減した。
• マルチスケールセグメンテーションマップの投票ベース統合は、誤検出と重複を効果的に低減し、後処理なしに高リコールを実現できた。
• 手動で設計されたヒューリスティクスや知識ベースのフィルタリングに依存せず、純粋なディープラーニングとアーキテクチャの革新の有効性を示した。