[論文レビュー] ICDAR 2019 Competition on Large-scale Street View Text with Partial Labeling -- RRC-LSVT

Yipeng Sun, Zihan Ni+10 more|arXiv (Cornell University)|Sep 17, 2019

Handwritten Text Recognition Techniques参考文献 30被引用数 12

ひとこと要約

本論文はICDAR 2019-LSVTコンペティションを提示し、これまでで最大のシーンテキストデータセット—45万枚のストリートビュー画像を提供。そのうち5万枚は完全にアノテートされ、40万枚は弱いラベルが付与されており、テキスト検出およびエンドツーエンドスポットティングのためのものである。このチャレンジは、部分ラベルを用いたモデルのロバスト性向上に注力しており、上位チームは高度なアーキテクチャとアンサンブルを用いて高い性能を達成した。弱い教師付き学習の実世界におけるテキスト理解への可能性を示している。

ABSTRACT

Robust text reading from street view images provides valuable information for various applications. Performance improvement of existing methods in such a challenging scenario heavily relies on the amount of fully annotated training data, which is costly and in-efficient to obtain. To scale up the amount of training data while keeping the labeling procedure cost-effective, this competition introduces a new challenge on Large-scale Street View Text with Partial Labeling (LSVT), providing 50, 000 and 400, 000 images in full and weak annotations, respectively. This competition aims to explore the abilities of state-of-the-art methods to detect and recognize text instances from large-scale street view images, closing the gap between research benchmarks and real applications. During the competition period, a total of 41 teams participated in the two proposed tasks with 132 valid submissions, i.e., text detection and end-to-end text spotting. This paper includes dataset descriptions, task definitions, evaluation protocols and results summaries of the ICDAR 2019-LSVT challenge.

研究の動機と目的

• 大規模なストリートビュー画像データセットの完全アノテーションにかかる高コストと非効率性を解消するため、部分ラベリングを導入する。
• 現実的で複雑なストリートレベルの画像を用いることで、研究ベンチマークと実世界応用のギャップを埋める。
• 特に検出およびエンドツーエンドスポットティングに対して、弱い教師付き学習下でも一般化性能に優れたモデルの開発を促進する。
• 任意のテキスト形状、低コントラスト、オクルージョンといった多様な実世界の課題を含む大規模ベンチマーク上で、最先端手法の評価を実施する。
• 大規模な弱いラベル付きデータを活用する弱い教師付き学習の分野におけるイノベーションを促進し、シーンテキスト理解に焦点を当てる。

提案手法

• 中国の都市環境から実際のストリートビュー画像を45万枚収集し、そのうち3万枚は完全にアノテートされ、40万枚は弱いラベルが付与された。
• ラベルコストを削減するため、1枚の画像につき1つのキーテキスト（例：店舗名）のみをラベル付けし、ボックスアノテーションは不要とした部分ラベルを採用。
• 2つのタスクを設定：テキスト検出（インスタンスレベルの局所化）およびエンドツーエンドテキストスポットティング（検出＋認識）。
• マスクR-CNNにResNeXt、可変畳み込み、PANetを組み合わせ、長大で曲がったテキストの検出性能を向上。
• エンドツーエンド認識にはCNN-BiLSTM/GRUにCTCおよびアテンションベースのシーケンス・トゥ・シーケンスモデルを適用し、モデルアンサンブルで性能を向上。
• 空間変換ネットワーク（STN）および補正モジュールを統合し、不規則なテキストインスタンスの認識性能を向上。

実験結果

リサーチクエスチョン

• RQ1 部分（弱い）ラベルで学習された最先端モデルは、大規模で実世界のストリートビュー画像におけるテキスト認識でどの程度の性能を発揮するか？
• RQ2 任意の形状や低コントラスト背景を有する複雑な実世界シーンにおいて、現在のテキスト検出および認識モデルの主な失敗モードは何か？
• RQ3 キーワードレベルのラベルのみを用いた弱い教師付き学習は、完全教師付きベースラインと比較して、どの程度検出および認識性能を向上させられるか？
• RQ4 モデルアンサンブルおよびアーキテクチャの強化（例：可変畳み込み、アテンション機構）は、困難なテキストインスタンスの処理にどの程度効果的か？
• RQ5 認識モジュールからのフィードバックは、部分的オクルージョンや低コントラストの状況において、検出性能の向上に寄与するか？

主な発見

• Tencent-DPPRチームは、強化されたバックボーンとモデルアンサンブルを用いて、テキスト検出で最高のH-measure、精度、再現率を達成した。
• HUSTチームは再現率で2位となり、空間変換ネットワーク（STN）を統合した補正モジュールにより認識のロバスト性を向上させた。
• 一般的な検出の失敗事例として、縦向きのテキストラインが横方向に誤ってグループ化されることが判明し、意味的ヒントを用いたより良いグループ化戦略の必要性が示された。
• 認識モデルは低コントラストの背景や部分的オクルージョンに対して苦戦しており、視覚的劣化に対する不変性の向上が求められることが浮き彫りになった。
• 2段階パイプライン（検出＋認識）は有効であったが、モジュール間の補完的関係を十分に活用できていなかったため、共同最適化による利点が示唆された。
• 本データセットの規模（過去のベンチマークの14倍）は、実世界データに対して強い一般化性能とロバスト性を備えたモデルの学習に有効であることを示した。