[論文レビュー] Chinese Street View Text: Large-scale Chinese Text Reading with Partially Supervised Learning

Yipeng Sun, Jiaming Liu+4 more|arXiv (Cornell University)|Sep 17, 2019

Handwritten Text Recognition Techniques参考文献 41被引用数 6

ひとこと要約

本稿では、43万枚の画像を含み、うち3万枚が完全にアノテートされ、40万枚が弱いアノテーションが施された大規模な中国語ストリートビュー画像データセットC-SVTを紹介する。また、完全アノテーションと弱いアノテーションを同時に学習する部分的教師あり学習フレームワークを提案し、オンラインプロポーザルマッチング（OPM）モジュールを導入することで、同じラベルコストで完全教師あり学習に比べてエンドツーエンドFスコアを4.03%向上させ、ICDAR 2017-RCTWで最先端の性能を達成した。

ABSTRACT

Most existing text reading benchmarks make it difficult to evaluate the performance of more advanced deep learning models in large vocabularies due to the limited amount of training data. To address this issue, we introduce a new large-scale text reading benchmark dataset named Chinese Street View Text (C-SVT) with 430,000 street view images, which is at least 14 times as large as the existing Chinese text reading benchmarks. To recognize Chinese text in the wild while keeping large-scale datasets labeling cost-effective, we propose to annotate one part of the CSVT dataset (30,000 images) in locations and text labels as full annotations and add 400,000 more images, where only the corresponding text-of-interest in the regions is given as weak annotations. To exploit the rich information from the weakly annotated data, we design a text reading network in a partially supervised learning framework, which enables to localize and recognize text, learn from fully and weakly annotated data simultaneously. To localize the best matched text proposals from weakly labeled images, we propose an online proposal matching module incorporated in the whole model, spotting the keyword regions by sharing parameters for end-to-end training. Compared with fully supervised training algorithms, this model can improve the end-to-end recognition performance remarkably by 4.03% in F-score at the same labeling cost. The proposed model can also achieve state-of-the-art results on the ICDAR 2017-RCTW dataset, which demonstrates the effectiveness of the proposed partially supervised learning framework.

研究の動機と目的

• 野生の中国語テキスト読み取りのための、大規模で多様性に富み、コスト効率の良い学習データの不足に対処すること。
• 大規模データセットにおける正確なバウンディングボックスおよびテキストラベルのアノテーションにかかる高いコストを低減すること。
• エンドツーエンドのテキスト検出と認識に、完全アノテーションと弱いアノテーションの両方を効果的に活用できる統合型ディープラーニングフレームワークを開発すること。
• 完全教師ありベースラインを上回る一般化性能と性能を向上させること。

提案手法

• 各テキスト領域のバウンディングボックスとテキストラベルを備えた3万枚の画像を完全教師ありでアノテートする。
• 関心のあるテキストのみを弱いラベルとして提供することで、追加の40万枚の画像を収集・アノテートし、アノテーションコストを顕著に削減する。
• 完全アノテーションと弱いアノテーションの両方から同時に学習する部分的教師ありエンドツーエンドテキスト読み取りモデルを設計する。
• エンドツーエンド学習を可能にするために、共有パラメータを用いて弱いラベルとテキストプロポーザルを動的にマッチングするオンラインプロポーザルマッチング（OPM）モジュールを導入する。
• 共有バックボーンネットワークを用いて特徴抽出を行い、その後、別々の検出・認識ヘッドを構築し、共有表現を介して共同最適化を実現する。
• 検出、認識、プロポーザルマッチングの目的関数を統合したマルチタスク損失関数を用いて学習し、弱いラベル領域を正例キーワードと一致させる。

実験結果

リサーチクエスチョン

• RQ1 部分的教師あり学習フレームワークは、大規模な弱いアノテーションデータを効果的に活用して中国語テキスト読み取り性能を向上させることができるか？
• RQ2 提案されたOPMモジュールは、弱いアノテーションからのテキスト領域の局所化において、標準的な検出ヘッドに比べてどのように優れているか？
• RQ3 弱いアノテーションデータを用いることで、完全教師あり学習に比べて認識精度と一般化性能がどの程度向上するか？
• RQ4 提案手法はICDAR 2017-RCTWのようなベンチマークデータセットで最先端の性能を達成するか？

主な発見

• 提案された部分的教師ありモデルは、C-SVTデータセットにおいて、同じラベルコストで完全教師あり学習に比べてエンドツーエンドFスコアを4.03%向上させた。
• OPMモジュールは、閾値τ=0.1で57%のリ call と97%の精度を達成し、弱いラベルからのキーワード領域の局所化が有効であることを示した。
• 40万枚の弱いアノテーション画像を追加することで、平均編集距離（AED）が1枚あたり3.3減少し、マルチスケール推論を組み合わせることでAEDは22.1まで低下し、新たな最先端の結果を達成した。
• 弱いアノテーションデータを用いて学習させた場合、認識ブランチの精度は40.20%から48.33%に向上し、認識タスクにおける弱教師あり学習の価値が示された。
• C-SVTの完全アノテーションサブセットで学習したモデルは、CTWで学習したモデルを上回り、ICDAR 2017-RCTWで58.21%のFスコアを達成した（CTW対比43.41%）。
• ICDAR 2017-RCTWで最先端の結果を達成した。これにより、提案された部分的教師あり学習フレームワークの一般化性能と有効性が確認された。