[論文レビュー] PuzzleNet: Scene Text Detection by Segment Context Graph Learning

Hao Liu, Antai Guo+3 more|arXiv (Cornell University)|Feb 26, 2020

Handwritten Text Recognition Techniques参考文献 37被引用数 6

ひとこと要約

PuzzleNetは、テキスト領域を方向付き長方形セグメントとしてモデル化し、文脈グラフを介してセグメント間の外観および幾何的相関を学習する二本のブランチを持つ複数類似性グラフ畳み込みネットワーク（MSGCN）を活用する、画期的な分解ベースのシーンテキスト検出手法を提案する。この手法は、任意形状のテキストの正確なポリゴン形状検出を実現するためのセグメント文脈の有効な統合を可能にし、ICDAR15、MSRA-TD500、SCUT-CTW1500で最先端または競争力のある性能を達成した。

ABSTRACT

Recently, a series of decomposition-based scene text detection methods has achieved impressive progress by decomposing challenging text regions into pieces and linking them in a bottom-up manner. However, most of them merely focus on linking independent text pieces while the context information is underestimated. In the puzzle game, the solver often put pieces together in a logical way according to the contextual information of each piece, in order to arrive at the correct solution. Inspired by it, we propose a novel decomposition-based method, termed Puzzle Networks (PuzzleNet), to address the challenging scene text detection task in this work. PuzzleNet consists of the Segment Proposal Network (SPN) that predicts the candidate text segments fitting arbitrary shape of text region, and the two-branch Multiple-Similarity Graph Convolutional Network (MSGCN) that models both appearance and geometry correlations between each segment to its contextual ones. By building segments as context graphs, MSGCN effectively employs segment context to predict combinations of segments. Final detections of polygon shape are produced by merging segments according to the predicted combinations. Evaluations on three benchmark datasets, ICDAR15, MSRA-TD500 and SCUT-CTW1500, have demonstrated that our method can achieve better or comparable performance than current state-of-the-arts, which is beneficial from the exploitation of segment context graph.

研究の動機と目的

• 自然画像内の任意形状・多方向・長大なテキストインスタンスを検出する課題に対処すること。
• 従来の分解ベース手法がテキストセグメント間の文脈情報を無視するという限界を克服すること。
• 文脈グラフ構造を用いてセグメント間の外観および幾何的相関をモデル化することで、検出精度を向上させること。
• 正方形または文字レベルのボックスよりもより効果的な局所情報を捉えるセグメント表現を開発すること。
• 予測された文脈的組み合わせに基づいてセグメントを統合することで、正確なポリゴン形状の検出を可能にすること。

提案手法

• セグメント提案ネットワーク（SPN）が、一貫した方向性を持つ局所的なテキスト領域をカバーする方向付き長方形セグメントを生成し、従来の正方形または文字レベルのボックスに代わるものである。
• セグメントは、外観および幾何的相関を表すエッジを持つ文脈グラフのノードとしてモデル化される。
• 各セグメントとその文脈的近隣セグメント間の外観および幾何的類似性を共同で推論するため、二本のブランチを持つ複数類似性グラフ畳み込みネットワーク（MSGCN）が導入される。
• MSGCNは、セグメント間の視覚的および空間的関係をよりよく捉えるために、複数類似性メカニズムを用いる。
• 予測されたセグメントの組み合わせはクラスタリングされ、最終的なポリゴン形状の検出結果に統合される。
• マルチスケール入力を用いることで、特に長大または曲がったテキストに対して、セグメント品質および検出リ콜が向上する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのアプローチによるセグメント文脈のモデル化は、不規則で多方向のシーンテキストの検出精度を向上させることができるか？
• RQ2 正方形または文字レベルのボックスではなく、方向付き長方形セグメントを用いることで、シーンテキスト検出の性能が向上するか？
• RQ3 外観と幾何的相関を共同でモデル化する二本のブランチGCNは、単一モダリティ手法に比べてセグメント組み合わせ予測で優れた性能を発揮するか？
• RQ4 多様なテキスト形状と方向性を有するベンチマークにおいて、提案手法は最先端のアプローチと比較してどのように評価されるか？
• RQ5 マルチスケール入力は、長大または曲がったテキストインスタンスの検出をどの程度向上させるか？

主な発見

• ICDAR2015では、単一スケール入力でF-measureが88.0%を達成し、マルチスケール入力を使用するLOMO MSを上回った。
• MSRA-TD500では、F-measureが85.8%を達成し、すべての先行手法を2.2ポイント以上上回り、リコールは83.5%であった。
• SCUT-CTW1500では、単一スケール入力でF-measureが84.4%、マルチスケール入力で84.9%を達成し、リコールが86.5%まで向上した。
• アブレーションスタディの結果、局所的な方向性認識を持つ長方形セグメントは、正方形ボックス（PuzzleNet-Square）を上回る性能を示し、セグメント表現の有効性を裏付けた。
• マルチスケール入力は、すべてのデータセットでリコールおよびF-measureを向上させ、長大または曲がったテキストの検出における利点を確認した。
• 可視化結果から、PuzzleNetは曲がったテキストや台形形状のテキストに対しても正確なポリゴン形状の検出を実現しており、文脈グラフ学習の有効性を確認した。