[論文レビュー] Revisiting Scene Text Recognition: A Data Perspective

Qing Jiang, Jiapeng Wang+3 more|arXiv (Cornell University)|Jul 17, 2023

Handwritten Text Recognition Techniques被引用数 4

ひとこと要約

本稿は、データ中心の視点からシーンテキスト認識（STR）を再評価し、標準ベンチマークでは精度が飽和している一方で、データ分布のズレにより現実世界での性能が依然として低いことが明らかになった。400万枚のラベル付きおよび1000万枚のラベルなし画像を含む大規模な現実世界データセット「Union14M」を導入することで、7つの未解決課題を同定し、ラベルなしデータに対する自己教師付き事前学習がSTRのロバスト性を顕著に向上させることを示した。Vision Transformerベースのモデル（MAERec）を用いて、最先端の性能を達成した。

ABSTRACT

This paper aims to re-assess scene text recognition (STR) from a data-oriented perspective. We begin by revisiting the six commonly used benchmarks in STR and observe a trend of performance saturation, whereby only 2.91% of the benchmark images cannot be accurately recognized by an ensemble of 13 representative models. While these results are impressive and suggest that STR could be considered solved, however, we argue that this is primarily due to the less challenging nature of the common benchmarks, thus concealing the underlying issues that STR faces. To this end, we consolidate a large-scale real STR dataset, namely Union14M, which comprises 4 million labeled images and 10 million unlabeled images, to assess the performance of STR models in more complex real-world scenarios. Our experiments demonstrate that the 13 models can only achieve an average accuracy of 66.53% on the 4 million labeled images, indicating that STR still faces numerous challenges in the real world. By analyzing the error patterns of the 13 models, we identify seven open challenges in STR and develop a challenge-driven benchmark consisting of eight distinct subsets to facilitate further progress in the field. Our exploration demonstrates that STR is far from being solved and leveraging data may be a promising solution. In this regard, we find that utilizing the 10 million unlabeled images through self-supervised pre-training can significantly improve the robustness of STR model in real-world scenarios and leads to state-of-the-art performance.

研究の動機と目的

• 現在のシーンテキスト認識（STR）の状態を、ベンチマークが解決済みの問題を示しているという仮定に疑問を呈することで再評価すること。
• 既存のSTRベンチマークの限界を特定すること。これらのベンチマークは単純さと現実世界の複雑さの欠如により、性能の飽和を示している。
• 現実世界指向の大規模データセット（Union14M）を構築し、現実世界のSTRシナリオにおける継続的な課題を露呈すること。
• 8つのサブセットを備えた課題駆動型ベンチマークを構築し、7つの新たに同定された現実世界の課題に対して体系的にSTRモデルを評価すること。
• 特に大規模なラベルなしデータに対する自己教師付き事前学習を含むデータ中心のソリューションが、現実世界の設定におけるSTRの一般化とロバスト性を向上させることを検討すること。

提案手法

• 17の公開ソースから得た合計400万枚のラベル付き画像（Union14M-L）と1000万枚のラベルなし画像（Union14M-U）を含む大規模な現実世界STRデータセット「Union14M」を統合した。
• 13の代表的STRモデルをUnion14M-Lで評価した結果、ベンチマーク（87.03%）と比較して精度が著しく低下（66.53%）しており、分布シフトの問題が示された。
• 7つの未解決課題を同定した：カーブテキスト、マルチオリエンテーションテキスト、コンテキスト欠如テキスト、アートテキスト、マルチワードテキスト、顕著テキスト、不完全テキスト。
• Union14M-Lから一般用途の40万枚と課題固有の9,383枚のサンプルを抽出し、課題駆動型ベンチマークを構築した。
• MAERecを提案した。これはVision TransformerベースのSTRモデルであり、Union14M-Uの自己教師付きマスク画像モデリング事前学習を活用して、ロバストな視覚的・テキスト的表現を学習する。
• MAERecは事前学習後にUnion14M-Lで微調整し、標準ベンチマークおよび新しい課題駆動型ベンチマークの両方で最先端の性能を達成した。

Figure 1: Average accuracy of STR models on six commonly used benchmarks as reported in their original papers. Models are trained with synthetic data.

実験結果

リサーチクエスチョン

• RQ1 観察された性能の飽和を踏まえると、現在のSTRベンチマークは現実世界の課題を真に反映していると言えるのか？
• RQ2 最先端のSTRモデルが現実世界の複雑なシナリオに導入された際の主な失敗モードは何か？
• RQ3 合成データで学習したSTRモデルの性能は、大規模な現実世界データセット（Union14M）で評価した際にどの程度劣化するのか？
• RQ4 既存の研究で未認識にされている現実世界のテキスト認識課題は何か？そして、それらを体系的に評価する方法は何か？
• RQ5 大規模なラベルなし現実世界画像に対する自己教師付き事前学習が、STRの一般化とロバスト性を顕著に向上させられるのか？

主な発見

• 標準ベンチマーク（平均87.03%の精度）では性能が飽和しているが、これにより現実世界での性能低下が隠蔽されており、Union14M-LではSTRモデルの精度はわずか66.53%にまで低下している。
• 13のモデルのうち、ベンチマーク画像の2.91%がどれか1つでも誤認識されるが、人間が認識できないサンプルを除くとこの数値は1.53%に低下し、現在のベンチマークでは改善の余地が極めて小さいことが示された。
• 13のモデルは7つの異なる現実世界の課題で失敗している：カーブテキスト、マルチオリエンテーションテキスト、コンテキスト欠如テキスト、アートテキスト、マルチワードテキスト、顕著テキスト、不完全テキスト。
• 提案された課題駆動型ベンチマークでは、実データでの微調整を行ったとしても、現在の最先端モデルの平均精度は74.6%にとどまり、STRが現実世界の設定では依然として未解決であることを確認した。
• Union14M-Uの1000万枚のラベルなし画像に対する自己教師付き事前学習により、STRモデルの精度がUnion14M-Benchmarkで5.1%向上し、MAERecにより最先端の性能（ViT-Baseを用いて標準ベンチマークで96.2%）を達成した。
• MAERecは他の自己教師付きSTR手法と比較して使用データが少ないにもかかわらず、優れた性能を発揮した。これは、自己教師付き事前学習におけるデータ品質と分布の重要性を示している。

Figure 2: Error analysis on the six STR benchmarks.