[論文レビュー] Deep Scene Text Detection with Connected Component Proposals

Fan Jiang, Zhihui Hao+1 more|arXiv (Cornell University)|Aug 17, 2017

Handwritten Text Recognition Techniques参考文献 18被引用数 7

ひとこと要約

本稿では、シーンテキスト検出のため、ピクセル単位のセグメンテーションとオブジェクト検出を統合する2本のブランチからなる深層ネットワークを提案する。セグメンテーション出力に対して連結成分解析を適用して語の候補を生成し、文字検出をこれらの候補と整合させるための一貫性損失を導入することで、ICDAR 2013でFスコア0.919という最先端の性能を達成し、再現率を0.915まで著しく向上させた。

ABSTRACT

A growing demand for natural-scene text detection has been witnessed by the computer vision community since text information plays a significant role in scene understanding and image indexing. Deep neural networks are being used due to their strong capabilities of pixel-wise classification or word localization, similar to being used in common vision problems. In this paper, we present a novel two-task network with integrating bottom and top cues. The first task aims to predict a pixel-by-pixel labeling and based on which, word proposals are generated with a canonical connected component analysis. The second task aims to output a bundle of character candidates used later to verify the word proposals. The two sub-networks share base convolutional features and moreover, we present a new loss to strengthen the interaction between them. We evaluate the proposed network on public benchmark datasets and show it can detect arbitrary-orientation scene text with a finer output boundary. In ICDAR 2013 text localization task, we achieve the state-of-the-art performance with an F-score of 0.919 and a much better recall of 0.915.

研究の動機と目的

• ボトムアップなピクセルレベルの手がかりとトップダウンなオブジェクトレベルの検出を統合することで、シーンテキスト検出の性能を向上させること。
• 任意のテキスト方向や複雑な背景に対応できない純粋なセグメンテーションまたは検出ベースの手法の限界を解消すること。
• 文字候補と連結成分による候補との間の一貫性損失を新たに導入することで、誤検出を低減し、境界の正確性を向上させること。
• マルチタスクシーンテキスト検出における共有特徴学習と共同学習の有効性を示すこと。
• 特に任意方向テキストにおける再現率とFスコアの観点から、公開ベンチマークで最先端の性能を達成すること。

提案手法

• ネットワークは、セグメンテーションと検出の両ブランチに共通のVGG-16畳み込み層（conv1_1からconv4_3まで）を用いる。
• セグメンテーションブランチはピクセル単位の分類を実行し、セグメンテーションマップに対して標準的な連結成分解析（CCA）を適用して語の候補を生成する。
• 検出ブランチは、Faster R-CNNスタイルのヘッドを用いて文字候補を予測し、語の候補を検証する。
• 原始的なCCA出力と検出された文字バウンディングボックスとの整合性を強制するための新しい一貫性損失を導入する。
• 2段階の学習プロトコルを採用する：まず、セグメンテーションと検出ヘッドを別々に事前学習し、その後、学習率を段階的に減衰させながら共同微調整を行う。
• 教師データには、テキスト領域（多角形）、中心線（テキスト領域の50％高さ）、95クラス（背景を含む）の文字バウンディングボックスが含まれる。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションと検出の共同学習は、再現率と境界精度の観点から、シーンテキスト検出性能を向上させることができるか？
• RQ2 セグメンテーション出力に連結成分解析を適用して候補を生成する手法が、任意方向テキストに対して、従来のRPNベースやアンカーベースの手法を上回る性能を発揮するか？
• RQ3 文字検出とCCAによって生成された候補との間の一貫性を強制することで、誤検出の低減と局所化精度の向上がどの程度達成されるか？
• RQ4 共有特徴と新しい一貫性損失を備えた本手法の2本のブランチアーキテクチャは、単一タスクや単純に結合されたモデルと比較して、どのように優れているか？
• RQ5 本手法は多言語やローマ字以外のスクリプトにも一般化可能であり、このような困難なケースでも高い性能を維持できるか？

主な発見

• 本手法は、ICDAR 2013 Focused TextデータセットでFスコア0.919を達成し、すべての提出物の中で第1位となった。
• 再現率が0.915まで向上し、特にごみだらけのシーンでも真のテキストインスタンスを効果的に検出できることを示している。
• セグメンテーション出力に連結成分解析を適用することで、任意の方向や複雑な形状のテキスト検出が可能となり、アンカーベースの手法に比べて優れた性能を発揮した。
• 文字検出とCCA候補との間の一貫性損失により、誤検出が低減し、テキスト境界の予測が明確になった。
• 多言語データセットでも高い性能を維持しており、中国語を含む非ラテン文字スクリプトに対しても有効であることが確認された。
• アブレーションスタディにより、一貫性損失を用いた共同学習がベースラインモデルに比べて顕著な性能向上をもたらすことが確認された。