[論文レビュー] A Fast Hierarchical Method for Multi-script and Arbitrary Oriented Scene Text Extraction

Lluís Gómez, Dìmosthenis Karatzas|arXiv (Cornell University)|Jul 28, 2014

Handwritten Text Recognition Techniques被引用数 9

ひとこと要約

本稿では、学習済み特徴空間におけるテキストの内在的構造的階層を活用することで、マルチスクリプトおよび任意方向のシーンテキスト抽出のための高速で階層的な手法を提案する。高再現率のグループ化を実現する最適な特徴空間、知覚的組織化の原則に基づく分類と確率的測度を統合した新規の停止ルール、および段階的に計算可能なグループ記述子を導入し、1つの混合学習データセットを用いて4つの多様なデータセットで最先端の性能を達成した。

ABSTRACT

Typography and layout lead to the hierarchical organisation of text in words, text lines, paragraphs. This inherent structure is a key property of text in any script and language, which has nonetheless been minimally leveraged by existing text detection methods. This paper addresses the problem of text segmentation in natural scenes from a hierarchical perspective. Contrary to existing methods, we make explicit use of text structure, aiming directly to the detection of region groupings corresponding to text within a hierarchy produced by an agglomerative similarity clustering process over individual regions. We propose an optimal way to construct such an hierarchy introducing a feature space designed to produce text group hypotheses with high recall and a novel stopping rule combining a discriminative classifier and a probabilistic measure of group meaningfulness based in perceptual organization. Results obtained over four standard datasets, covering text in variable orientations and different languages, demonstrate that our algorithm, while being trained in a single mixed dataset, outperforms state of the art methods in unconstrained scenarios.

研究の動機と目的

• テキスト検出を個別の領域分類として扱う既存のシーンテキスト検出手法の限界、すなわち構造的グループ化としてではなく孤立した領域として扱う点を是正すること。
• 語、行、段落といったテキストの階層的組織を直接検出することで、個々の領域を後処理するのではなく、構造的グループ化を直接検出すること。
• タスク固有の再訓練なしにマルチスクリプトおよび任意方向のテキストを処理できる統一的で汎用的な手法の開発。
• テキストを一貫性のある構造的単位としてモデル化することで、制約のない状況下での検出再現率と耐性を向上させること。

提案手法

• 本手法は、異なるスクリプトや方向間でテキスト成分の類似性を最大化するように設計された、学習済み特徴空間における凝集的シングルリンクアプローチを用いる。
• 知覚的組織化の原則に基づくグループの意味の有無を示す確率的測度と分類器を統合した、新規の判別的停止ルールを導入する。
• クラスタリング中にグループ仮説を効率的に評価するために、段階的に計算可能なグループ記述子を用いることで、低時間計算量を維持する。
• グループ化における高再現率を実現するため、成分間の類似性（並べ替え、間隔、筆圧、コントラストなど）を符号化するように特徴空間を最適化する。
• アルゴリズムは1パスで階層的グループ化を実行し、従来手法で一般的なヒューリスティックな後処理ステップを回避する。
• 複数のスクリプトと方向をカバーする混合学習データセットにより、多様なシーンテキストの状況に一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 明示的にテキスト構造をモデル化する階層的クラスタリングアプローチが、マルチスクリプトおよび任意方向のテキスト状況において、従来の領域ベースの検出を上回ることができるか？
• RQ2 スクリプトや方向に関係なく、テキスト成分の高再現率グループ化を可能にするために、統一された特徴空間をどのように学習できるか？
• RQ3 タスク固有の適応なしに、1つの混合学習モデルが多様なシーンテキストデータセットにどの程度一般化できるか？
• RQ4 判別的基準と確率的基準を統合した停止ルールは、階層的テキストグループ化における検出精度と効率を向上させることができるか？
• RQ5 段階的に計算可能なグループ記述子の使用は、クラスタリングプロセスのスケーラビリティとパフォーマンスにどのような影響を与えるか？

主な発見

• 提案手法は、マルチスクリプトおよび任意方向のテキストに対して、MSRRC、MSRA-TD500、KAISTの各データセットで最先端の性能を達成し、Fスコアはそれぞれ0.78、0.74、0.73であった。
• ICDAR Robust Reading Competition 2013データセットでは、Fスコア0.73を達成し、水平方向の英語テキストに特化して訓練された大多数の手法を上回った。
• ICDAR2003データセットでは、Fスコア0.69を達成し、より制約の厳しい評価環境でも強力な性能を示した。
• 1つの混合学習セットを用いても、すべてのデータセットで競争力ある性能を維持しており、多様なスクリプトや方向にわたる一般化能力を実証した。
• ベースライン分析から、特徴空間の多様化がシステムの再現率を顕著に向上させることを示し、さらなる改善の余地があることが示唆された。
• 非水平かつマルチスクリプトな状況において、TextSpotter や USTB TextStar といった専用モデルを上回る性能を示したことで、本手法の耐性と汎用性が確認された。