[論文レビュー] TextProposals: a Text-specific Selective Search Algorithm for Word Spotting in the Wild

Lluís Gómez, Dìmosthenis Karatzas|arXiv (Cornell University)|Apr 10, 2016

Handwritten Text Recognition Techniques参考文献 57被引用数 18

ひとこと要約

本論文では、初期領域が個々の文字に対応すると仮定せずに、複数の類似度ヒューリスティクスを用いて連結成分を段階的にグループ化することで、高品質な語彙候補を生成するテキスト固有のオブジェクト候補手法TextProposalsを提案する。この手法は、エンドツーエンドの語検索において最先端の性能を達成し、制約のないシーンで、ICDAR2015 Incidental Textデータセットにおいて、統合された包括的認識器を用いることで、前人を10%以上のFスコアで上回った。

ABSTRACT

Motivated by the success of powerful while expensive techniques to recognize words in a holistic way, object proposals techniques emerge as an alternative to the traditional text detectors. In this paper we introduce a novel object proposals method that is specifically designed for text. We rely on a similarity based region grouping algorithm that generates a hierarchy of word hypotheses. Over the nodes of this hierarchy it is possible to apply a holistic word recognition method in an efficient way. Our experiments demonstrate that the presented method is superior in its ability of producing good quality word proposals when compared with class-independent algorithms. We show impressive recall rates with a few thousand proposals in different standard benchmarks, including focused or incidental text datasets, and multi-language scenarios. Moreover, the combination of our object proposals with existing whole-word recognizers shows competitive performance in end-to-end word spotting, and, in some benchmarks, outperforms previously published results. Concretely, in the challenging ICDAR2015 Incidental Text dataset, we overcome in more than 10 percent f-score the best-performing method in the last ICDAR Robust Reading Competition. Source code of the complete end-to-end system is available at https://github.com/lluisgomez/TextProposals

研究の動機と目的

• 個々の文字のセグメンテーションに依存する従来のシーンテキスト認識手法の限界、特に劣化・草書体・低コントラストのテキストで失敗する点を解決すること。
• 明示的な文字セグメンテーションを回避し、高品質な語の候補を生成する手法を開発することで、効率的な包括的語認識を可能にすること。
• 特に低品質または小規模なテキストを含む挑戦的なインシデントテキストデータセットにおいて、再現率と性能を向上させること。
• テキスト固有のオブジェクト候補が、テキスト検出・認識タスクにおいて一般のオブジェクト候補アルゴリズムを上回ることを示すこと。

提案手法

• 空間的近接性と視覚的類似度に基づいて連結成分をグループ化する階層的クラスタリング手法を用い、起源にかかわらずすべての成分をテキスト部品の可能性として扱う。
• 空間的、色、テクスチャなどの補完的ヒューリスティクスを用いて複数の類似度階層を構築し、各語インスタンスが少なくとも1つの階層に含まれる確率を高める。
• ノード間の包含関係を活用した新しいランク付け戦略と非最大抑制手順により、効率的に上位の候補を選択する。
• 固定の階層構造（例：文字 → 二文字語 → 語）を仮定しないため、草書体や断片的なテキストなど多様なテキスト形式のグループ化に柔軟に対応可能。
• 最終的な語の候補は、包括的語認識器（例：DictNet）に供給され、高い効率性と正確性を実現するエンドツーエンドの語検索が可能になる。
• 多言語環境および多様な画像条件（低解像度、ぼやけ、複雑な背景など）に強く、耐障害性を備えた設計である。

実験結果

リサーチクエスチョン

• RQ1 テキスト固有のオブジェクト候補手法は、語検索タスクにおいて一般のオブジェクト候補アルゴリズムを上回ることができるか？
• RQ2 複数の類似度ヒューリスティクスに基づく階層的グルーピング戦略は、制約のないシーンにおける語の候補の再現率と品質を向上させることができるか？
• RQ3 明示的な文字セグメンテーションを回避する手法は、挑戦的なインシデントテキストデータセットで優れた性能を発揮できるか？
• RQ4 テキスト固有の候補と包括的語認識器を統合した手法は、既存のエンドツーエンド語検索パイプラインと比較してどのように差をつけるか？
• RQ5 本手法は、焦点のあるテキスト、インシデントテキスト、多言語環境の各シナリオにどの程度一般化可能か？

主な発見

• TextProposalsは、ICDAR2015 Incidental Textデータセットで56.00%のFスコアを達成し、前人最高の手法を10ポイント以上上回った。
• ICDAR2013 Focused Textデータセットでは、エンドツーエンドの語検索で70.71%のFスコアを記録し、すべての先行研究を上回った。
• 数万件の候補で十分な再現率を達成し、多言語および低品質テキストのさまざまなベンチマークで高い性能を示した。
• 従来の検出器が小規模、低解像度、または非水平方向のテキストで失敗するインシデントテキストにおいて、優れた性能を発揮した。
• TextProposalsとDictNetの包括的認識器を統合することで、ICDAR2015テストセットの語の70%しかカバーしない辞書を用いても、最先端の結果を達成した。
• 提案されたランク付けと抑制戦略は、階層構造を効果的に活用し、再現率を損なわず、効率的かつ正確な候補選択を可能にした。