[論文レビュー] Symmetry-constrained Rectification Network for Scene Text Recognition

Mingkun Yang, Yushuo Guan+6 more|arXiv (Cornell University)|Aug 6, 2019

Handwritten Text Recognition Techniques被引用数 19

ひとこと要約

本稿では、中心線、方向性、スケールを用いてテキスト補正における幾何的対称性を強制することで、シーンテキスト認識を向上させる対称性制約付き補正ネットワーク（ScRN）を提案する。明示的な対称性制約を用いてテキスト形状をモデル化することで、ScRNは特に不規則なテキストにおいて最先端の性能を達成し、ICDAR 2015ではASTRと比較して2.6%の精度向上、CUTE80では8%の向上を達成した。

ABSTRACT

Reading text in the wild is a very challenging task due to the diversity of text instances and the complexity of natural scenes. Recently, the community has paid increasing attention to the problem of recognizing text instances with irregular shapes. One intuitive and effective way to handle this problem is to rectify irregular text to a canonical form before recognition. However, these methods might struggle when dealing with highly curved or distorted text instances. To tackle this issue, we propose in this paper a Symmetry-constrained Rectification Network (ScRN) based on local attributes of text instances, such as center line, scale and orientation. Such constraints with an accurate description of text shape enable ScRN to generate better rectification results than existing methods and thus lead to higher recognition accuracy. Our method achieves state-of-the-art performance on text with both regular and irregular shapes. Specifically, the system outperforms existing algorithms by a large margin on datasets that contain quite a proportion of irregular text instances, e.g., ICDAR 2015, SVT-Perspective and CUTE80.

研究の動機と目的

• 自然なシーンにおける不規則な形状のテキスト認識の課題に対処すること。これは、曲がりや歪み、複雑な背景のため、依然として困難である。
• 中心線、方向性、スケールといった幾何的事前知識を組み込むことで、不規則なテキストの補正品質を向上させること。
• 既存のテキスト認識器と統合可能で、顕著な計算コスト増加なしに認識精度を向上させる軽量で微分可能な補正モジュールを設計すること。
• 特に不規則なテキストインスタンスの割合が高いデータセットを含む、標準ベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は、テキスト中心線の局所的幾何的特徴に基づいて補正用の制御点を予測するセグメンテーションベースのネットワークを用いる。
• 文字の方向性とスケール情報を用いて、制御点が中心線に関して空間的に対称になるように制約を課すことにより、対称性を強制する。
• ネットワークはたった2つの畳み込み層で構成されており、既存のテキスト認識器との統合に適した軽量で効率的なものである。
• 補正プロセスは微分可能であり、認識モデルとエンドツーエンドで学習可能であり、アライメントと特徴学習の両方を向上させる。
• 単語レベルの監視を活用し、学習に自動合成された文字レベルのアノテーションの恩恵を受ける。
• 連続的な中心線表現を用いることで、直線的でないテキストから極めて曲がったテキストまで、柔軟にテキスト形状をモデル化できる。

実験結果

リサーチクエスチョン

• RQ1 明示的な対称性制約は、極めて曲がったまたは歪んだシーンにおけるテキスト補正のロバスト性と精度を向上させることができるか？
• RQ2 中心線の方向性や文字のスケールといった幾何的属性を組み込むことで、補正品質にどのような影響を与えるか？
• RQ3 計算コストを増加させることなく、軽量で微分可能な補正モジュールが最先端の性能を達成できるか？
• RQ4 提案手法は、不規則なテキストベンチマークにおいて、従来のSTNベースの補正ネットワークをどの程度上回るか？

主な発見

• ScRNは7つの標準的なシーンテキスト認識ベンチマークで最先端の性能を達成し、比較対象の全手法の中で12の結果のうち6つが最高となった。
• ICDAR 2015データセットでは、ASTERと比較して認識精度を2.6%向上させ、不規則なテキストにおける強力なロバスト性を示した。
• CUTE80データセットでは、ASTERと比較して8%の向上を達成し、極めて曲がったおよび歪んだテキストにおける有効性を強力に示した。
• 語彙制約なしでも、IIIT5K、IC03、IC13ではそれぞれ1%、0.5%、2.1%の精度向上を達成した。
• SVTPではASTERを2.3%上回り、困難な不規則なテキストにおける優位性を再確認した。
• SVTではわずかに性能が低下（ASTERより0.6%劣る）したが、モデルは依然として競争力を持っており、失敗事例は左側の文字の隠蔽と一方向デコードによるものと特定された。