[論文レビュー] Detecting Oriented Text in Natural Images by Linking Segments

Baoguang Shi, Xiang Bai+1 more|arXiv (Cornell University)|Mar 19, 2017

Handwritten Text Recognition Techniques参考文献 24被引用数 14

ひとこと要約

本論文では、テキストを検出可能なセグメントとリンクに分解し、完全畳み込みニューラルネットワーク（FCN）を用いて同時にセグメント（回転した境界ボックス）とリンク（隣接するセグメント間の接続）を予測する、新しい方向付きテキスト検出手法SegLinkを提案する。この手法は、ICDAR 2015で75.0%のF-measureを達成し、20 FPS以上で動作し、修正なしで中国語のような非ラテン文字も自然に処理できる。

ABSTRACT

Most state-of-the-art text detection methods are specific to horizontal Latin text and are not fast enough for real-time applications. We introduce Segment Linking (SegLink), an oriented text detection method. The main idea is to decompose text into two locally detectable elements, namely segments and links. A segment is an oriented box covering a part of a word or text line; A link connects two adjacent segments, indicating that they belong to the same word or text line. Both elements are detected densely at multiple scales by an end-to-end trained, fully-convolutional neural network. Final detections are produced by combining segments connected by links. Compared with previous methods, SegLink improves along the dimensions of accuracy, speed, and ease of training. It achieves an f-measure of 75.0% on the standard ICDAR 2015 Incidental (Challenge 4) benchmark, outperforming the previous best by a large margin. It runs at over 20 FPS on 512x512 images. Moreover, without modification, SegLink is able to detect long lines of non-Latin text, such as Chinese.

研究の動機と目的

• 一般物体検出器が極端に長い、回転したテキスト（特異なアスペクト比）を検出する際の限界を解消すること。
• リアルタイム方向付きテキスト検出のための検出速度と学習の単純さを向上させること。
• 構造的変更なしに中国語のような非ラテン文字の堅牢な検出を可能にすること。
• グローバルなボックス提案に依存せず、局所的に検出可能なコンponents（セグメントとリンク）を用いてテキスト構造をモデル化すること。

提案手法

• 本手法はテキストをセグメント（語の一部をカバーする回転境界ボックス）とリンク（隣接するセグメント間の接続で、同じ語に属することを示す）に分解する。
• VGG-16バックボーンを備えた完全畳み込みニューラルネットワークが、6つの特徴層で複数スケールにわたってセグメントとリンクを検出する。
• 2種類のリンクを用いる：同一層内リンク（同じ層内の隣接セグメント間）とクロスレイヤーリンク（隣接する特徴層上のセグメント間）で、空間的およびスケール関連のセグメントを接続する。
• 検出されたリンクに基づいて深さ優先探索（DFS）アルゴリズムを用いてセグメントを結合して完全な語を生成する。
• セグメントとリンクを同時に予測するために、エンドツーエンドで学習可能なマルチタスク損失関数を用いてネットワークを訓練する。
• 後処理では、非最大抑制としきい値処理（αおよびβ）を用いて重複する検出をフィルタリングする。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みでエンドツーエンドの深層学習モデルは、従来手法よりも方向付きテキストをより正確かつ効率的に検出できるか？
• RQ2 セグメントリンク戦略は、構造的変更なしに中国語のような非ラテン文字にも一般化可能か？
• RQ3 テキストを局所的に検出可能なセグメントとリンクの列としてモデル化することで、複雑な背景や可変アスペクト比に対する耐性が向上するか？
• RQ4 標準的なベンチマーク（方向付きおよび水平テキスト）において、SegLinkの性能は最先端手法と比べてどうか？

主な発見

• SegLinkはICDAR 2015 Incidental（チャレンジ4）ベンチマークで75.0%のF-measureを達成し、前回の最良手法（64.8%）を顕著に上回った。
• 512×512の画像上で20 FPS以上で動作し、従来手法と比較して高い推論効率を示した。
• 構造的変更なしに、多言語シーンにおける中国語のような長い非ラテン文字テキストを正常に検出できた。
• TD500データセットでは、比較手法の中で最高の精度（86%）とF-measure（77%）を達成し、推論速度は8.9 FPSであった。
• IC13水平テキストベンチマークでは、85.3%のF-measureと20.6 FPSを達成し、F-measureでは2位で、大多数の先行手法よりも顕著に高速であった。
• 失敗事例として、文字間隔が広い場合や曲がったテキストが挙げられ、主にセグメント結合アルゴリズムの制限により、矩形ボックスしか生成しないことが原因である。