[論文レビュー] DEER: Detection-agnostic End-to-End Recognizer for Scene Text Spotting

Seonghyun Kim, Seung Yong Shin+7 more|arXiv (Cornell University)|Mar 10, 2022

Handwritten Text Recognition Techniques被引用数 6

ひとこと要約

DEERは、シーンテキストスポットティングのための検出器に依存しないエンドツーエンド認識器を提案する。各テキストインスタンスに対して1つのリファレンスポイントを用い、領域ベースの特徴抽出を置き換えることで、フル画像特徴を用いた頑健な認識を可能にする。境界ボックスやポリゴンアノテーションを必要とせず、任意形状のテキストベンチマークで競争力ある性能を達成し、検出エラーに対しても強い頑健性を示す。

ABSTRACT

Recent end-to-end scene text spotters have achieved great improvement in recognizing arbitrary-shaped text instances. Common approaches for text spotting use region of interest pooling or segmentation masks to restrict features to single text instances. However, this makes it hard for the recognizer to decode correct sequences when the detection is not accurate i.e. one or more characters are cropped out. Considering that it is hard to accurately decide word boundaries with only the detector, we propose a novel Detection-agnostic End-to-End Recognizer, DEER, framework. The proposed method reduces the tight dependency between detection and recognition modules by bridging them with a single reference point for each text instance, instead of using detected regions. The proposed method allows the decoder to recognize the texts that are indicated by the reference point, with features from the whole image. Since only a single point is required to recognize the text, the proposed method enables text spotting without an arbitrarily-shaped detector or bounding polygon annotations. Experimental results present that the proposed method achieves competitive results on regular and arbitrarily-shaped text spotting benchmarks. Further analysis shows that DEER is robust to the detection errors. The code and dataset will be publicly available.

研究の動機と目的

• エンドツーエンドのシーンテキストスポットティングにおける検出と認識の強い結合を緩和し、特徴抽出を領域固有のプーリングから分離する。
• 正確な境界ポリゴンやセグメンテーションマスクに依存せずに、任意形状、回転、曲がったテキストの認識を可能にする。
• ポリゴンレベルの監視ではなく、リファレンスポイントアノテーションのみを用いてエンドツーエンドモデルを学習する。
• 1つのリファレンスポイントから画像全体の特徴に注目できるようにすることで、検出エラーに対する頑健性を向上させる。
• 最小限の監視（点レベルのアノテーション）で高精度なテキストスポットティングを実現する可能性を検討する。

提案手法

• モデルは、検出器が生成する各テキストインスタンスごとの1つのリファレンスポイントを用い、デコーダーがフル画像の関連する特徴に注目するのをガイドする。
• 推論時には学習可能な位置ヘッドがリファレンスポイントを予測し、テキストデコーダーはクロスアテンション機構を用いて、これらのポイントを中心にした画像特徴に注目する。
• デコーダーは局所的なパッチの代わりにグローバルな画像特徴に注目するため、検出が不正確であっても、またはテキストが曲がっていても認識が可能になる。
• 訓練時にリファレンスポイントの摂動戦略を採用することで、ノイズや不正確な検出出力に対する頑健性を向上させる。
• 代替的なリファレンスポイントサンプリング法（Inner法）を導入し、訓練ではポリゴン内からランダムに選んだ点を用い、推論時には中心断面の中央点を用いる。
• 特徴学習を支援するために検出監視を用いてモデルを訓練するが、推論時には点監視のみで動作可能である。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスやセグメンテーションマスクなどの領域レベルのアノテーションに依存せずに、エンドツーエンドのテキストスポットティングを達成できるか？
• RQ2 検出が不正確な場合、テキスト認識器の性能はどの程度低下するか？ また、特徴抽出のパラダイムを変更することで、この低下を緩和できるか？
• RQ3 1つのリファレンスポイントから画像全体の特徴に注目する認識器は、局所化された領域に比べてどの程度一般化できるか？
• RQ4 検出器がリファレンスポイントのみを提供する状況でも、検出器に依存しない認識器は、曲がったまたは不規則な形状のテキストに対して高い正確性を維持できるか？
• RQ5 ノイズや摂動を加えたリファレンスポイントで学習させることで、検出エラーに対するモデルの頑健性が向上するか？

主な発見

• DEERは、TotalText や ICDAR2015 といった正規および任意形状のテキストスポットティングベンチマークで、ポリゴンアノテーションや領域プーリングを必要とせず、競争力ある性能を達成した。
• 検出エラーに対して強い頑健性を示した：不正確な検出から得たリファレンスポイントを用いても、DEERは正しくテキストを認識しており、セグメンテーションベースのモデルとの定性的比較で明確に示された。
• 訓練時のリファレンスポイント摂動により、ノイズの多い検出入力に対する性能低下が顕著に軽減された。
• リファレンスポイントサンプリングのためのInner法は、標準的手法と同等の性能を示し、効果的な認識のためにはリファレンスポイントがテキスト領域内に位置する必要がないことを示した。
• 検出監視を用いた訓練により認識性能が向上したが、それなしでもモデルは有効に機能したため、点レベルの監視のみで高精度を達成できる可能性があることが示された。
• 曖昧な状況（例：赤い背景に「SALE」と予測、または「SALE」の後に「OFF」と予測）では、構造的な誤りパターンを示し、グローバルな文脈によるバイアスの拡大の可能性を示唆した。