[論文レビュー] ReLaText: Exploiting Visual Relationships for Arbitrary-Shaped Scene Text Detection with Graph Convolutional Networks

Chixiang Ma, Lei Sun+2 more|arXiv (Cornell University)|Mar 16, 2020

Handwritten Text Recognition Techniques参考文献 83被引用数 4

ひとこと要約

ReLaTextは、テキストプリミティブ間のリンク関係を予測するため、グラフ畳み込みネットワーク（GCNs）を用いて視覚的関係検出としてテキスト検出を定式化する、任意形状のシーンテキスト検出の新規手法を提案する。GCNを用いて文字間および行間の関係をモデル化することで、5つのベンチマークで最先端の性能を達成し、従来の手法と比較して、曲がった形状や不規則な間隔のテキストインスタンスの検出精度を顕著に向上させる。

ABSTRACT

We introduce a new arbitrary-shaped text detection approach named ReLaText by formulating text detection as a visual relationship detection problem. To demonstrate the effectiveness of this new formulation, we start from using a "link" relationship to address the challenging text-line grouping problem firstly. The key idea is to decompose text detection into two subproblems, namely detection of text primitives and prediction of link relationships between nearby text primitive pairs. Specifically, an anchor-free region proposal network based text detector is first used to detect text primitives of different scales from different feature maps of a feature pyramid network, from which a text primitive graph is constructed by linking each pair of nearby text primitives detected from a same feature map with an edge. Then, a Graph Convolutional Network (GCN) based link relationship prediction module is used to prune wrongly-linked edges in the text primitive graph to generate a number of disjoint subgraphs, each representing a detected text instance. As GCN can effectively leverage context information to improve link prediction accuracy, our GCN based text-line grouping approach can achieve better text detection accuracy than previous text-line grouping methods, especially when dealing with text instances with large inter-character or very small inter-line spacings. Consequently, the proposed ReLaText achieves state-of-the-art performance on five public text detection benchmarks, namely RCTW-17, MSRA-TD500, Total-Text, CTW1500 and DAST1500.

研究の動機と目的

• 既存の手法が困難である、特に曲がった形状や不規則な間隔のテキストを含む任意形状のシーンテキスト検出の課題に対処すること。
• 局所的な接続性やヒューリスティックなグループ化に依存するのではなく、検出されたテキストプリミティブ間の文脈的関係をモデル化することで、テキストライングループ化のロバスト性を向上させること。
• 視覚的関係検出、特にGCNによるリンク予測を、シーンテキスト検出の新しいパラダイムとして探求すること。
• 曲がった形状や密に配置されたテキストインスタンスを含む複雑なベンチマークにおける、優れた検出精度を達成すること。

提案手法

• アンカーフリーな領域提案ネットワークが、特徴ピラミッドネットワークの特徴マップから、さまざまなスケールのテキストプリミティブを検出する。
• 同じ特徴マップから検出された近接するテキストプリミティブをエッジで結ぶことで、テキストプリミティブグラフを構築する。
• グラフ畳み込みネットワーク（GCN）を用いて、テキストプリミティブペア間のリンク関係を予測し、誤検出の接続を効果的に削除する。
• GCNは、グラフ全体の文脈的情報を活用して、文字間隔が大きくまたは行間隔が小さいテキストにおいても、リンク予測の精度を向上させる。
• リンクのプルーニング後に形成される非連結な部分グラフが、検出されたテキストインスタンスを表し、これに基づいて最終的なバウンディングポリゴンが生成される。
• 本手法はエンドツーエンドで学習され、5つの公開ベンチマークで評価され、GCNの深さやリンク予測部のアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 視覚的関係検出、特にリンク予測を用いることで、任意形状のシーンテキスト検出におけるテキストライングループ化の改善が可能か？
• RQ2 8近傍接続性や連結ベースのグループ化といった従来手法と比較して、GCNベースのリンク予測は、精度とロバスト性の面で優れているか？
• RQ3 GCNを用いて長距離の文脈的関係をモデル化することで、曲がった形状や不規則な間隔のテキストインスタンスにおける検出性能が向上するか？
• RQ4 精度と効率のバランスを考慮した場合、リンク予測モジュールにおけるGCNおよびMLPの最適なアーキテクチャの深さは何か？

主な発見

• ReLaTextは5つの公開ベンチマークで最先端の性能を達成した：RCTW-17（68.1% Fスコア）、MSRA-TD500（83.3% Fスコア）、Total-Text（84.8% Fスコア）、CTW1500（84.8% Fスコア）、DAST1500（84.0% Fスコア）。
• GCNベースのリンク予測手法は、従来の関係ネットワークアプローチと比較して、Total-Text（83.8% → 84.8%）で1.0%、RCTW-17（67.0% → 68.1%）で1.1%のFスコア向上を達成した。
• 8近傍接続性や連結ベースのグループ化と比較して、本手法は顕著に優れた性能を示し、CTW1500では82.6%および82.7%のFスコアを記録したのに対し、ReLaTextは84.8%を達成した。
• アブレーションスタディの結果、GCNの深さが3、MLPの深さが2の組み合わせが、性能と効率のバランスにおいて最適であることが示された。
• ReLaTextは、文字間隔が大きくまたは行間隔が非常に小さいテキストインスタンスに対して、従来手法がしばしば失敗する状況でも優れたロバスト性を示した。
• 失敗事例は、主に曖昧なレイアウトや極めて小さなテキストに限定されており、これらは大多数の最先端手法にとっても依然として挑戦的である。