[論文レビュー] Why You Should Try the Real Data for the Scene Text Recognition

Vladimir Loginov|arXiv (Cornell University)|Jul 29, 2021

Handwritten Text Recognition Techniques参考文献 26被引用数 4

ひとこと要約

この論文は、合成データに依存するのではなく、OpenImages V5 などの実世界のデータセットを用いてシーンテキスト認識モデルを訓練することで、複数のベンチマークで最先端の性能が得られることを示している。YAMTSベースのアーキテクチャを活用し、データ拡張を減らすことで、特にIC15およびSVT-Pで、以前の最先端モデルを上回る高い精度が達成された。

ABSTRACT

Recent works in the text recognition area have pushed forward the recognition results to the new horizons. But for a long time a lack of large human-labeled natural text recognition datasets has been forcing researchers to use synthetic data for training text recognition models. Even though synthetic datasets are very large (MJSynth and SynthTest, two most famous synthetic datasets, have several million images each), their diversity could be insufficient, compared to natural datasets like ICDAR and others. Fortunately, the recently released text-recognition annotation for OpenImages V5 dataset has comparable with synthetic dataset number of instances and more diverse examples. We have used this annotation with a Text Recognition head architecture from the Yet Another Mask Text Spotter and got comparable to the SOTA results. On some datasets we have even outperformed previous SOTA models. In this paper we also introduce a text recognition model. The model's code is available.

研究の動機と目的

• 実世界の自然なシーンテキストデータセットでの学習が、従来の合成データでの学習を上回るかどうかを調査すること。
• 合成学習データと実際のテストデータの分布のギャップによって引き起こされるドメインシフト問題に対処すること。
• 実データでの学習時にデータ拡張を減らすことで、モデルが意味のある特徴をよりよく学習でき、一般化性能が向上することを示すこと。
• 特にアテンションベースおよびトランスフォーマーベースのモデルにおいて、研究コミュニティが実データを学習に採用するよう促すこと。
• 実データを用いて複数のベンチマークで最先端の性能を達成する新しいテキスト認識モデルを紹介すること。

提案手法

• OpenImages V5 データセット（100万枚以上の実世界のヒューマンアノテート済みシーンテキスト画像を含む）を用いてテキスト認識モデルを訓練した。
• TPSを用いた幾何変換を備えたYAMTSベースのアーキテクチャを採用し、バックボーンにResNeXt-101、シーケンスモデリングヘッドに2次元アテンションベースの構造を採用した。
• 特に複雑な実データで学習する際の一般化性能を向上させるために、大文字・小文字を区別しない学習と評価を実施した。
• 合成データ（MJSynth, SynthText）、実データ（OpenImages V5）、ハイブリッド組み合わせを用いた学習を比較し、性能のトレードオフを評価した。
• ケースセンシティブ対ケースインセンシティブの学習を比較するアブレーションスタディを実施し、データの多様性がモデル容量に与える影響を評価した。
• MJSynth, SynthText, OpenImages V5 の混合データを用いてViTSTR-Tinyを学習し、強力な拡張を伴う中でも実データを効果的に活用できるかを評価した。

実験結果

リサーチクエスチョン

• RQ1 合成データのみで学習するのと比較して、実世界の自然なシーンテキストデータでの学習が認識精度を向上させることができるか？
• RQ2 実データでの学習時にデータ拡張を減らすことで、実際のテストセットでの一般化性能と性能が向上するか？
• RQ3 アテンションベースおよびトランスフォーマーベースのモデルが、実データと合成データで学習した場合に、性能にどのような差が生じるか？
• RQ4 より複雑な実世界データを用いた際、ケースセンシティブ対ケースインセンシティブの学習にどのような影響があるか？
• RQ5 広範なデータ拡張に依存せずに、実データで学習したモデルが最先端の結果を達成できるか？

主な発見

• OpenImages V5 での単独学習で、IC03で94.1%、IC13で94.2%、IC15で73.2%の精度を達成し、合成データ単独での学習を上回った。
• MJSynth と OpenImages V5 のハイブリッドを用いることで、IC03で95.6%、IC13で95.2%、IC15で75.3%の精度に向上し、複数のデータソースを組み合わせることの利点を示した。
• OpenImages V5 でケースインセンシティブな学習を実施した結果、IC03で97.0%、IC13で96.5%、SVT-Pで91.6%の精度を達成し、複数のベンチマークで以前の最先端モデルを上回った。
• 20%のOpenImages V5データを用いてViTSTR-Tinyを学習した結果、IC03で95.6%、IC13で94.2%の精度を達成し、強力な拡張を伴っても実データがモデルの能力を向上させることを示した。
• IC15 や SVT-P のようなより困難なデータセットでは、実データを用いることで精度向上が顕著に現れ、実データがドメインの複雑さをよりよく捉えていることを示唆した。
• 著者らのモデルは、IC15（89.9%の精度）およびSVT-P（91.6%の精度）で最先端の結果を達成し、これらのベンチマークで以前の最先端モデルを上回った。