[論文レビュー] ICDAR2019 Robust Reading Challenge on Arbitrary-Shaped Text (RRC-ArT)

Chee-Kheng Chng, Yuliang Liu+12 more|arXiv (Cornell University)|Sep 16, 2019

Handwritten Text Recognition Techniques参考文献 13被引用数 30

ひとこと要約

本論文は、曲がったおよび不規則な形状のテキストの検出、認識、スポットの課題に焦点を当てた、ICDAR2019 Robust Reading Challenge on Arbitrary-Shaped Text (RRC-ArT) を提示する。この大規模ベンチマークは、Total-Text、SCUT-CTW1500、およびBaiduが収集した新規データセットを統合したものであり、任意形状のテキストを扱う際の性能を評価する。このチャレンジでは、検出で82.65%、認識で85.32%、テキストスポートで54.91%の最高スコアを達成し、任意形状のテキスト処理において、セグメンテーションベースの検出とアテンションベースの認識モデルの優位性が浮き彫りになった。

ABSTRACT

This paper reports the ICDAR2019 Robust Reading Challenge on Arbitrary-Shaped Text (RRC-ArT) that consists of three major challenges: i) scene text detection, ii) scene text recognition, and iii) scene text spotting. A total of 78 submissions from 46 unique teams/individuals were received for this competition. The top performing score of each challenge is as follows: i) T1 - 82.65%, ii) T2.1 - 74.3%, iii) T2.2 - 85.32%, iv) T3.1 - 53.86%, and v) T3.2 - 54.91%. Apart from the results, this paper also details the ArT dataset, tasks description, evaluation metrics and participants methods. The dataset, the evaluation kit as well as the results are publicly available at https://rrc.cvc.uab.es/?ch=14

研究の動機と目的

• シーンリーディングにおける任意形状のテキスト、特に曲がったおよび不規則な形状のテキストに対して包括的なベンチマークが不足しているという問題に対処すること。
• 水平または多方向のラインにとどまらない多様な形状のテキストを検出・認識・スポートできる強力なモデルの開発を研究コミュニティに挑戦すること。
• Total-Text や SCUT-CTW1500 といった既存データセットに、より多様性に富んだ新規画像を加えることで、より大規模で代表的なベンチマークを構築すること。
• 実世界の条件下で、検出、認識、エンドツーエンドスポートの3つのタスクにおいて、最先端手法の評価と比較を実施すること。
• IoU といった現在の評価指標の限界を特定し、今後の研究において TIoU のような改善された指標の導入を提言すること。

提案手法

• ArTデータセットは、Total-Text、SCUT-CTW1500、およびBaiduが収集した新規データセットを統合したものであり、カメラ、インターネット、ストリートビューから収集された画像を含み、テキストの形状や向きの多様性に重点を置いている。
• すべてのテキストインスタンスは、タイトな多角形の正例としてアノテーションされ、曲がったおよび不規則なテキスト領域の正確なモデリングを可能にしている。
• 検出には、複雑なテキスト形状を捉える能力に優れるセグメンテーションベースのモデルが用いられ、従来の回帰ベースのアプローチを上回っている。
• 認識には、補正処理を経てからアテンションベースのRNN/LSTMモジュールを適用することで、歪みがひどいまたは不規則に歪んだテキストパッチに対処している。
• テキストスポートでは、IoUベースのマッチングにより検出と認識を統合し、認識結果の評価には1-N.E.D. および H-mean の指標が用いられている。
• 評価フレームワークは、検出 → 正例とのマッチング → 事前処理をTask 2と同一にした認識の多段階パイプラインを採用している。

実験結果

リサーチクエスチョン

• RQ1 現在のモデルは、特に曲がったおよび不規則な向きのインスタンスを含む任意形状のテキスト検出において、どの程度の性能を示すのか？
• RQ2 セグメンテーションベースの検出と回帰ベースの検出の両者を比較した場合、任意形状のテキスト検出精度にどのような影響を与えるのか？
• RQ3 アテンションベースの認識モデルは、著しく歪んだまたは曲がったテキストパッチを処理する際に、どの程度効果的なのか？
• RQ4 エンドツーエンドのテキストスポートにおける主な失敗モードは何か？また、それらは検出や認識の誤りとどのように関連しているのか？
• RQ5 現在の評価指標（例：IoU）は、人間の検出品質の認識をどの程度反映していないのか？どのような改善が求められるのか？

主な発見

• 最高の検出スコアは82.65%のF-measureに達し、任意形状のテキスト処理において優れた性能を示した。セグメンテーションベースのモデルが上位提出の主流を占めた。
• 最高の認識モデルは、T2.2サブタスクで85.32%の正解率を達成し、補正処理とアテンションベースの認識パイプラインの高い有効性を示した。
• 最高のテキストスポート手法は、Task 3.2で1-N.E.D. スコア54.91%、平均H-mean 44.37%を達成し、タスクの難易度の高さを示した。
• スポートで優勝した手法は、セグメンテーションベースの検出器とアテンションベースの認識器を組み合わせており、5,435クラスを学習対象として、LSVT、ICDAR2017、COCO-Textを含む多様なデータで学習された。
• スポートの失敗事例は、特に中国語テキストが関与する密集または重複するテキスト領域で誤検出が生じる傾向にあり、言語に配慮したモデリングの必要性を示唆している。
• IoU指標は不十分であることが判明した。複数の文字が欠落している検出でも100%のリCALLが達成可能な場合があり、TIoU などのより良い指標の導入が求められる。