[論文レビュー] Detecting Curve Text in the Wild: New Dataset and New Solution

Yuliang Liu, Lianwen Jin+2 more|arXiv (Cornell University)|Dec 6, 2017

Handwritten Text Recognition Techniques参考文献 26被引用数 212

ひとこと要約

本論文は曲線テキストデータセット CTW1500 を導入し、曲線テキストを直接検出するポリゴンベースの Curve Text Detector (CTD) と再帰的オフセット接続 (TLOC) を備えた手法を提案する。これにより従来手法を上回る。

ABSTRACT

Scene text detection has been made great progress in recent years. The detection manners are evolving from axis-aligned rectangle to rotated rectangle and further to quadrangle. However, current datasets contain very little curve text, which can be widely observed in scene images such as signboard, product name and so on. To raise the concerns of reading curve text in the wild, in this paper, we construct a curve text dataset named CTW1500, which includes over 10k text annotations in 1,500 images (1000 for training and 500 for testing). Based on this dataset, we pioneering propose a polygon based curve text detector (CTD) which can directly detect curve text without empirical combination. Moreover, by seamlessly integrating the recurrent transverse and longitudinal offset connection (TLOC), the proposed method can be end-to-end trainable to learn the inherent connection among the position offsets. This allows the CTD to explore context information instead of predicting points independently, resulting in more smooth and accurate detection. We also propose two simple but effective post-processing methods named non-polygon suppress (NPS) and polygonal non-maximum suppression (PNMS) to further improve the detection accuracy. Furthermore, the proposed approach in this paper is designed in an universal manner, which can also be trained with rectangular or quadrilateral bounding boxes without extra efforts. Experimental results on CTW-1500 demonstrate our method with only a light backbone can outperform state-of-the-art methods with a large margin. By evaluating only in the curve or non-curve subset, the CTD + TLOC can still achieve the best results. Code is available at https://github.com/Yuliang-Liu/Curve-Text-Detector.

研究の動機と目的

• 野外の曲線形テキストの読解を促進し、データセットの不足に対処する。
• ラベリングを容易にするためにポリゴン注釈を含む曲線テキストデータセット CTW1500 を作成する。
• ポストホックなグルーピングを経ずに曲線テキストを直接検出する直接的なポリゴンベース検出器（CTD）を提案する。
• 平滑な局在化のために点オフセット間の逐次文脈を捉える TLOC を導入する。
• 長方形、四辺形、または曲線注釈に適応する普遍的なトレーニングを提供する。

提案手法

• 14 の曲線点と外接矩形パラメータを回帰するポリゴンベースのテキスト検出器 CTD を提案する。
• 学習安定性を高めるために回帰を幅オフセットと高さオフセットに分割する。
• 点オフセット間の逐次文脈をモデル化するために BLSTM を用いた再帰的な横方向・縦方向オフセット接続 (TLOC) を組み付ける。
• PSROIPooling を用いて点ごとのオフセット特徴を生成し、それらを TLOC モジュールに供給して逐次予測を行う。
• 提案ごとに分類と局在の項を組み合わせたマルチタスク損失で学習する。
• 2 つの後処理ステップを適用する：non-polygon suppression (NPS) と polygonal non-maximum suppression (PNMS)。

実験結果

リサーチクエスチョン

• RQ1 ポリゴンベースの検出器は、別々の検出結果を組み合わせずに曲線テキストを直接局在化できるのか。
• RQ2 再帰的オフセット接続（TLOC）を組み込むことで曲線テキストの局在精度は向上するか。
• RQ3 曲線に焦点を当てた後処理ステップ（NPS、PNMS）は曲線テキストと非曲線テキストの検出性能にどう影響するか。
• RQ4 曲線、長方形、四辺形の注釈を追加ラベリングなしで扱えるほど普遍的か。

主な発見

アルゴリズム	全体セットR	全体セットP	全体セットH	非曲線サブセットR	非曲線サブセットP	非曲線サブセットH	曲線サブセットR	曲線サブセットP	曲線サブセットH	S (FPS)
SegLink	40.0	42.3	40.8	48.4	38.3	42.8	19.4	9.9	13.2	10.7
SWT	9.0	20.7	12.5	5.8	13.4	8.1	6.4	7.0	6.7	-
CTPN	53.8	60.4	56.9	59.4	54.3	56.7	37.7	34.1	35.8	7.14
EAST	49.1	78.7	60.4	57.5	71.0	63.6	29.9	40.9	34.6	21.2
DMPNet	56.0	69.9	62.2	61.7	63.9	62.7	39.3	35.5	37.3	12.3
CTD	65.2	74.3	69.5	60.3	67.3	63.5	73.9	52.9	61.6	15.2
CTD + TLOC	69.8	77.4	73.4	62.3	70.8	66.3	77.1	57.1	65.6	13.3

• CTW1500 は 1,500 枚の画像を含み、10,751 の境界ボックスがあり、そのうち 3,530 は曲線ボックスである。
• CTD（TLOC なし）は full CTW1500 テストセットで最先端の Hmean 69.5 を達成；CTD は TLOC を用いると 73.4 に達する。
• CTD+TLOC は曲線テキスト検出を大幅に改善し、曲線サブセットで 77.1 R、57.1 P、65.6 H、13.3 FPS。
• PNMS は実験全体で NMS より一貫して改善をもたらし、TLOC の追加は Hmean の最大の改善をもたらす（約4ポイント）。
• CTD+TLOC は CTW1500 の結果でいくつかのベースライン（SegLink、SWT、CTPN、EAST、DMPNet）を上回り、特に曲線サブセットで顕著（例：約28% の Hmean 改善）。
• 本手法は曲線テキストを直接扱いながら高速（13–15 FPS）で、非曲線テキストのサブセットにも一般化する。