[論文レビュー] Multi-Oriented Text Detection with Fully Convolutional Networks

Zheng Zhang, Chengquan Zhang+4 more|arXiv (Cornell University)|Apr 14, 2016

Handwritten Text Recognition Techniques参考文献 30被引用数 85

ひとこと要約

本論文は、粗いから細かい段階へと処理するアプローチを用いて、グローバルな局所的特徴マップとローカルな文字成分を統合する、完全畳み込みネットワーク（FCN）ベースのフレームワークを提案する。FCNが予測するテキストの局所的特徴マップとMSERに基づく成分グループ化、および文字の重心予測のための第二のFCNを組み合わせることで、MSRA-TD500、ICDAR2015、ICDAR2013ベンチマークで最先端の性能を達成し、任意の方向への耐性、複数言語、困難な画像条件に対しても強力であることが示された。

ABSTRACT

In this paper, we propose a novel approach for text detec- tion in natural images. Both local and global cues are taken into account for localizing text lines in a coarse-to-fine pro- cedure. First, a Fully Convolutional Network (FCN) model is trained to predict the salient map of text regions in a holistic manner. Then, text line hypotheses are estimated by combining the salient map and character components. Fi- nally, another FCN classifier is used to predict the centroid of each character, in order to remove the false hypotheses. The framework is general for handling text in multiple ori- entations, languages and fonts. The proposed method con- sistently achieves the state-of-the-art performance on three text detection benchmarks: MSRA-TD500, ICDAR2015 and ICDAR2013.

研究の動機と目的

• 自然画像内の任意の方向を向いたテキストを検出する課題に対処すること。
• 低コントラストや透視歪みを含む多様なテキストスタイル、言語、画像条件において、検出の耐性を向上させること。
• テキストラインの局所的（文字成分）とグローバル（テキストブロック）な手がかりを効果的に統合し、テキストラインの局所化を改善すること。
• 正確な文字の重心予測を活用して、誤検出を低減すること。
• 水平方向および多方向テキスト検出に適用可能な汎用的なフレームワークを開発すること。

提案手法

• 完全畳み込みネットワーク（FCN）を訓練し、テキスト領域を示すピクセル単位の局所的特徴マップを予測させ、包括的で粗いレベルのテキストブロック検出を可能にする。
• 局所的特徴マップからテキストブロックをセグメンテーションし、その後の成分抽出のための領域として使用する。
• テキストブロックから最大安定極値領域（MSER）を抽出し、ローカルな文字成分を特定する。
• 成分の投影を用いて、各テキストライン候補の方向を推定する。
• 成分と局所的特徴マップからの空間的制約を組み合わせることで、候補のバウンディングボックスを生成する。
• 各候補内での文字の重心を予測するための第二のFCNを訓練し、その結果を誤検出のフィルタリングに使用する。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みネットワークは、多方向テキスト検出に適したグローバルなテキスト局所的特徴を効果的に予測できるか？
• RQ2 ローカルな文字成分とグローバルなテキストブロック情報は、任意の方向を向いたテキストラインの検出を改善するためにどのように統合できるか？
• RQ3 文字の重心予測のための第二のFCNは、テキストライン候補における誤検出を効果的に低減できるか？
• RQ4 提案された粗いから細かい段階へのフレームワークは、複数のデータセットおよびテキストタイプ（多言語、非水平テキストなど）に一般化可能か？
• RQ5 低コントラスト、模様、透視歪みなどの困難な条件下でも、この手法は耐性があるか？

主な発見

• 提案手法は、ICDAR2013データセットでF-measure 0.83を達成し、水平テキスト検出を目的とした先行研究すべてを上回った。
• ICDAR2015ベンチマークでは、F-measure 0.54を達成し、コンテストに参加したすべての手法の中で最高の性能を示した。
• MSRA-TD500では最先端の性能を達成し、多様なテキスト方向と複雑なシーンにおいて強い一般化性能を示した。
• 非一様な照明、ドットフォント、途切れのあるストローク、透視歪み、多言語テキストなど、困難な条件下でも耐性があることが確認された。
• MSERのパラメータT1およびT2の変化に対して、テキストライン候補のリコールがほとんど影響を受けないため、成分の品質の変動に対しても安定していることが示された。
• 強力な性能を発揮しているものの、極めて低コントラストのテキスト、強い反射、非常に近接または広く離れた文字の検出には依然として困難を抱えている。