[論文レビュー] Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection

Shi-Xue Zhang, Xiaobin Zhu+5 more|arXiv (Cornell University)|Mar 17, 2020

Handwritten Text Recognition Techniques参考文献 42被引用数 20

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）に基づくテキストプロポーザルネットワークと、グラフコンvolutionネットワーク（GCN）に基づく関係的推論ネットワークを接続するための局所的グラフを活用し、任意の形状のテキスト検出に適した統合的でエンド・トゥ・エンドで学習可能な深層関係的推論グラフネットワーク（DRRG）を提案する。グラフ畳み込みネットワークを用いてコンポーネント間の関係をモデル化することで、DRRGは最先端の性能を達成し、ICDAR2015では86.56%のH-mean、CTW1500では84.45%を達成した。

ABSTRACT

Arbitrary shape text detection is a challenging task due to the high variety and complexity of scenes texts. In this paper, we propose a novel unified relational reasoning graph network for arbitrary shape text detection. In our method, an innovative local graph bridges a text proposal model via Convolutional Neural Network (CNN) and a deep relational reasoning network via Graph Convolutional Network (GCN), making our network end-to-end trainable. To be concrete, every text instance will be divided into a series of small rectangular components, and the geometry attributes (e.g., height, width, and orientation) of the small components will be estimated by our text proposal model. Given the geometry attributes, the local graph construction model can roughly establish linkages between different text components. For further reasoning and deducing the likelihood of linkages between the component and its neighbors, we adopt a graph-based network to perform deep relational reasoning on local graphs. Experiments on public available datasets demonstrate the state-of-the-art performance of our method.

研究の動機と目的

• 既存の手法が剛体な幾何的仮定に基づくため苦戦する、任意の形状・湾曲・多方向のシーンテキスト検出の課題に対処する。
• 連結成分（CC）ベースの手法におけるルールベースまたは埋め込みベースのグループ化の限界を克服し、テキストコンポーネント間の安定的かつデータ駆動の関係的構造を学習する。
• CNNベースのテキストプロポーザルネットワークとGCNベースの関係的推論ネットワークの間でエンド・トゥ・エンド学習を可能にする、新しい局所的グラフモジュールを導入する。
• グラフベースの推論により幾何的および空間的関係をモデル化することで、長大で湾曲し、密集したテキストインスタンスの検出精度と耐障害性を向上させる。
• 多様なベンチマーク、特に多角形および四角形データセットにおいて、最先端の性能を達成し、テキストの形状や方向にわたる一般化能力を示す。

提案手法

• 各テキストインスタンスを小さな長方形コンポーネントに分割し、CNNベースのテキストプロポーザルネットワークを用いてその幾何的属性（高さ、幅、方向）を推定する。
• 各テキストインスタンスに対して局所的グラフを構築し、各コンポーネントをノードとし、幾何的近接性および方向類似性に基づいて潜在的な接続をエッジとして定義する。
• グラフコンボリューションネットワーク（GCN）を適用し、コンポーネント間の真の接続の可能性を推論する、深層的な関係的推論を実行する。
• GCNが予測した接続スコアを用いて後処理のグループ化をガイドし、学習された関係的信頼度に基づいてコンポーネントを完全なテキストインスタンスに統合する。
• テキストプロポーザルネットワークと関係的推論ネットワークの間でエンド・トゥ・エンド学習を可能にする、微分可能な局所的グラフ構築モジュールを設計する。
• 多スケールのデータ拡張および画像リサイズ戦略（短辺を512または960に、長辺の上限を設定）を活用し、多様なシーンテキストのスケールとアスペクト比にわたる一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ルールベースまたは埋め込みベースの手法と比較して、グラフベースの関係的推論メカニズムは、任意形状テキスト検出における離散的テキストコンポーネントのグループ化をどのように改善するか？
• RQ2 GCNベースのネットワークは、湾曲したテキストや多方向テキストの検出を向上させるために、テキストコンポーネント間の長距離および非隣接関係をどの程度モデル化できるか？
• RQ3 微分可能な局所的グラフをCNNベースのプロポーザルネットワークとGCNベースの推論ネットワークの間に統合することで、段階的または非微分可能なパイプラインと比較して、より優れたエンド・トゥ・エンドの性能が得られるか？
• RQ4 提案手法は、多様なベンチマークにおいて、長大で湾曲し、密集したテキストインスタンスを検出する際、最先端の手法と比較してどの程度優れているか？
• RQ5 提案されたフレームワークは、アーキテクチャの変更なしに、多角形や四角形のテキスト形状、および多言語のシーンにおいて一般化可能か？

主な発見

• 提案されたDRRG手法は、ICDAR2015データセットで86.56%のH-meanを達成し、FOTS（85.31%）やATRR（86.8%）といった以前の最先端手法を顕著に上回った。
• CTW1500データセットでは、84.45%のH-meanと83.02%のリCALLを達成し、TextSnakeよりH-meanで8.85%の向上を示し、湾曲および多方向テキストへの強力な性能を示した。
• MSRA-TD500データセットでは、85.08%のH-meanを達成し、長大でスケールが変動するテキストインスタンスの検出において堅牢性を示した。
• ICDAR2017 MLTでは、67.31%のH-meanを達成し、FOTS（67.25%）やLOMO（68.5%）といった既存の手法を上回り、多言語環境における優れた一般化能力を示した。
• アブレーションスタディにより、GCNベースの関係的推論モジュールが、重なったり湾曲したテキストがある複雑なシーンにおいて、検出性能を顕著に向上させることを確認した。
• 微分可能な局所的グラフを備えたエンド・トゥ・エンドで学習可能な設計により、非微分可能なグループ化モジュールと比較して、より良い最適化とより安定した予測が可能になった。