[論文レビュー] Look More Than Once: An Accurate Detector for Text of Arbitrary Shapes

Chengquan Zhang, Borong Liang+5 more|arXiv (Cornell University)|Apr 13, 2019

Handwritten Text Recognition Techniques参考文献 41被引用数 18

ひとこと要約

LOMOは、反復的精錬と柔軟な形状表現を用いることで、任意の形状および極めて長いテキストの検出を向上させる新しいシーンテキスト検出器である。直接回帰器、反復的精錬モジュール、形状表現モジュールを備えたエンド・トゥ・エンドで学習可能なアーキテクチャにより、ICDAR2017-RCTW、SCUT-CTW1500、Total-Text、ICDAR2015、ICDAR17-MLT といった複数のベンチマークで最先端の性能を達成している。

ABSTRACT

Previous scene text detection methods have progressed substantially over the past years. However, limited by the receptive field of CNNs and the simple representations like rectangle bounding box or quadrangle adopted to describe text, previous methods may fall short when dealing with more challenging text instances, such as extremely long text and arbitrarily shaped text. To address these two problems, we present a novel text detector namely LOMO, which localizes the text progressively for multiple times (or in other word, LOok More than Once). LOMO consists of a direct regressor (DR), an iterative refinement module (IRM) and a shape expression module (SEM). At first, text proposals in the form of quadrangle are generated by DR branch. Next, IRM progressively perceives the entire long text by iterative refinement based on the extracted feature blocks of preliminary proposals. Finally, a SEM is introduced to reconstruct more precise representation of irregular text by considering the geometry properties of text instance, including text region, text center line and border offsets. The state-of-the-art results on several public benchmarks including ICDAR2017-RCTW, SCUT-CTW1500, Total-Text, ICDAR2015 and ICDAR17-MLT confirm the striking robustness and effectiveness of LOMO.

研究の動機と目的

• 極めて長いおよび任意の形状のテキストインスタンスを処理する際の、既存のシーンテキスト検出器の限界を解消すること。
• 長大なテキストの検出を妨げる畳み込みニューラルネットワーク（CNN）の制限された受容野を克服し、複数の認識サイクルを可能にすること。
• 曲がりくねった、波打つ、複数の方向を向いたテキストの検出精度を向上させるために、剛体な四角形表現を柔軟な幾何形状モデリングに置き換えること。
• 予測を段階的に精錬し、正確な多角形テキストインスタンスを再構築するエンド・トゥ・エンドで学習可能な検出器を開発すること。
• 方向性、長さ、多言語、不規則形状を含む多様なテキストタイプにおいて、強力な性能を発揮すること。

提案手法

• LOMOは、テキストインスタンスの初期四角形提案を生成する直接回帰器（DR）を採用する。
• 反復的精錬モジュール（IRM）は、複数のイテレーションにわたり座標オフセットを再回帰することで、これらの提案を段階的に改善し、長大なテキストの局所化を向上させる。
• IRMは位置に敏感なアテンションメカニズムを用いて、長大なテキストの遠く離れた領域に注目し、より良い長距離特徴認識を実現する。
• 形状表現モジュール（SEM）は、テキスト領域、中心線、境界のオフセットを再回帰することで、正確な多角形表現を再構築する。
• SEMにより、水平、多方向、曲がりくねった、波打つテキストを含む任意の形状の柔軟なモデリングが可能になる。
• LOMOフレームワーク全体はエンド・トゥ・エンドで学習され、DR、IRM、SEMが統合され、共同最適化が行われる。

実験結果

リサーチクエスチョン

• RQ1 複数の認識サイクルを可能にする反復的精錬は、極めて長いテキストの検出精度を向上させることができるか？
• RQ2 柔軟な形状表現モデルは、曲がりくねったおよび不規則形状のテキストにおいて、標準的な四角形表現を上回る性能を発揮できるか？
• RQ3 反復的精錬と形状モデリングを組み合わせることで、多様なテキストタイプにわたり最先端の性能が達成できるか？
• RQ4 提案手法は、形状、方向、長さが異なる複数のベンチマークに一般化可能か？
• RQ5 LOMOの性能は、長大で不規則なテキストに対して、エンド・トゥ・エンドおよびワンショット検出手法と比較してどうか？

主な発見

• ICDAR2017-RCTWでは、H-meanが78.4%に達し、長大で不規則なテキスト検出において従来手法を上回った。
• SCUT-CTW1500では、シングルスケールテストで81.6%のH-mean、マルチスケールテストで83.3%を達成し、優れた一般化性能を示した。
• Total-Textでは、シングルスケールで75.7%、マルチスケールで83.3%のH-meanを記録し、曲がりくねったおよび多方向テキストに対して高いロバストネスを示した。
• ICDAR2015では、シングルスケールで87.2%、マルチスケールで87.7%のH-meanを達成し、非エンド・トゥ・エンド手法を上回り、トップクラスのエンド・トゥ・エンドモデルと同等の性能を発揮した。
• ICDAR2017-MLTでは、マルチスケールテストで73.1%のH-meanを達成し、既存のエンド・トゥ・エンド手法を最低2.3%以上上回った。
• 可視化結果から、IRMが長大なテキストの検出を顕著に向上させ、SEMが複雑なテキスト形状の正確なフィッティングを可能にすることが確認された。