[論文レビュー] CentripetalText: An Efficient Text Instance Representation for Scene Text Detection

Tao Sheng, Jie Chen+1 more|arXiv (Cornell University)|Jul 13, 2021

Handwritten Text Recognition Techniques参考文献 47被引用数 16

ひとこと要約

本稿では、任意形状のテキストをテキストカーネルと重心方向シフトに分解する新しいテキストインスタンス表現であるCentripetalText（CT）を提案する。この手法により、高速かつ高精度かつ耐障害性に優れたシーンテキスト検出が可能になる。重心方向シフトには緩い回帰を適用し、OpenCVの演算を効率的に活用した再構成により、リアルタイム推論で最先端の性能を達成。Total-TextおよびMSRA-TD500で先行手法を上回り、エンドツーエンド認識のためのより高精度なプロポーザルネットワーク（CPN）を実現する。

ABSTRACT

Scene text detection remains a grand challenge due to the variation in text curvatures, orientations, and aspect ratios. One of the hardest problems in this task is how to represent text instances of arbitrary shapes. Although many methods have been proposed to model irregular texts in a flexible manner, most of them lose simplicity and robustness. Their complicated post-processings and the regression under Dirac delta distribution undermine the detection performance and the generalization ability. In this paper, we propose an efficient text instance representation named CentripetalText (CT), which decomposes text instances into the combination of text kernels and centripetal shifts. Specifically, we utilize the centripetal shifts to implement pixel aggregation, guiding the external text pixels to the internal text kernels. The relaxation operation is integrated into the dense regression for centripetal shifts, allowing the correct prediction in a range instead of a specific value. The convenient reconstruction of text contours and the tolerance of prediction errors in our method guarantee the high detection accuracy and the fast inference speed, respectively. Besides, we shrink our text detector into a proposal generation module, namely CentripetalText Proposal Network, replacing Segmentation Proposal Network in Mask TextSpotter v3 and producing more accurate proposals. To validate the effectiveness of our method, we conduct experiments on several commonly used scene text benchmarks, including both curved and multi-oriented text datasets. For the task of scene text detection, our approach achieves superior or competitive performance compared to other existing methods, e.g., F-measure of 86.3% at 40.0 FPS on Total-Text, F-measure of 86.1% at 34.8 FPS on MSRA-TD500, etc. For the task of end-to-end scene text recognition, our method outperforms Mask TextSpotter v3 by 1.1% on Total-Text.

研究の動機と目的

• 自然画像における任意形状・湾曲・多方向テキストインスタンスの表現の課題に対処すること。
• 従来のコンポonentベース手法の限界、特にディラックデルタ回帰による推論の遅さと予測誤差への感受性を克服すること。
• 緩い回帰と効率的な後処理を活用し、高速な推論と高い精度を実現するシンプルで堅牢なテキスト表現の設計。
• エンドツーエンド認識の性能を向上させるために、よりタイトで高精度なテキストプロポーザルを生成するプロポーザル生成モジュール（CPN）の開発。

提案手法

• テキストインスタンスは、テキストカーネル（スケルトン）と外部ピクセルをカーネルに引き寄せる重心方向シフトマップの組み合わせとして表現される。
• テキストカーネルは、確率マップの二値化と連結成分解析によって得られる。
• 重心方向シフトは、新しい緩いL1損失を用いて密に回帰され、正確な値ではなく範囲内であれば正例とみなされる。
• 予測された重心方向ベクトルに従ってピクセルを最近接するカーネルへシフトさせることで、テキストインスタンスにグループ化する。この処理には効率的な行列演算とOpenCV関数が使用される。
• 予測誤差に強く、高速なテキストホログラム再構成が可能となり、耐障害性と推論速度の両方が向上する。
• Mask TextSpotter v3のSPNを置き換えることで、新しいプロポーザルネットワーク、CentripetalText Proposal Network（CPN）が構築され、エンドツーエンド認識のためのプロポーザル品質が向上する。

実験結果

リサーチクエスチョン

• RQ1 自然画像における任意形状・湾曲・多方向テキストに対して、シンプルで堅牢なテキストインスタンス表現をどのように実現できるか？
• RQ2 厳密なディラックデルタ回帰と比較して、重心方向シフトに緩い回帰を適用することで、検出の耐障害性と一般化性能が向上するか？
• RQ3 提案されたCentripetalText表現により、検出精度を維持または向上させながら、より高速な推論が可能になるか？
• RQ4 CPNに基づくプロポーザル生成モジュールは、エンドツーエンドテキストスポッティングタスクにおいてSPNを上回る性能を示すか？
• RQ5 本手法は、テキスト形状や向きが異なる多様なベンチマークにどのように一般化するか？

主な発見

• Total-Textでは、40.0 FPSでF-measure 86.3%を達成し、DBおよびPANを上回りながらリアルタイム速度を維持した。
• MSRA-TD500では、SynthTextでの事前学習を経て34.8 FPSでF-measure 86.1%を達成。PANを4.1%上回った。
• CPNを用いたエンドツーエンドテキストスポッタは、Total-Textで、語彙なし時71.9%、全語彙あり時79.5%のF-measureを達成。Mask TextSpotter v3を1.1%上回った。
• 定性的な結果から、CPNはSPNよりもタイトなポリゴンマスクを生成しており、認識のためのプロポーザル品質が優れていることが示された。
• 外部学習データを用いてCTW1500でも競争力のある性能（>40 FPSでF-measure 83.9%）を達成し、全手法中2位の順位を獲得した。
• 緩いL1損失により、重心方向シフトの予測誤差に対して耐障害性が向上。範囲内であれば正例とみなされるため、一般化性能が向上した。