[論文レビュー] What Is Wrong With Scene Text Recognition Model Comparisons? Dataset and Model Analysis

Jeonghun Baek, Geewook Kim+6 more|arXiv (Cornell University)|Apr 3, 2019

Handwritten Text Recognition Techniques参考文献 30被引用数 74

ひとこと要約

本論文は STR の訓練/評価データセットの不整合を明らかにし、統一された4段階の枠組みを提案し、単一データセット環境下でモジュール寄与を分析して STR モデルの公平な比較を可能にする。

ABSTRACT

Many new proposals for scene text recognition (STR) models have been introduced in recent years. While each claim to have pushed the boundary of the technology, a holistic and fair comparison has been largely missing in the field due to the inconsistent choices of training and evaluation datasets. This paper addresses this difficulty with three major contributions. First, we examine the inconsistencies of training and evaluation datasets, and the performance gap results from inconsistencies. Second, we introduce a unified four-stage STR framework that most existing STR models fit into. Using this framework allows for the extensive evaluation of previously proposed STR modules and the discovery of previously unexplored module combinations. Third, we analyze the module-wise contributions to performance in terms of accuracy, speed, and memory demand, under one consistent set of training and evaluation datasets. Such analyses clean up the hindrance on the current comparisons to understand the performance gain of the existing modules.

研究の動機と目的

• シーン文字認識（STR）に用いられる訓練データと評価データセットの不整合を特定する。
• モジュール分析を標準化するための統一的な4段階のSTRフレームワークを提案する。
• 共通データセット環境下で、精度・速度・メモリ使用量に対するモジュール別寄与を評価する。
• STR における公正な比較の実践指針を提供し、残る課題を明らかにする。

提案手法

• Transformation、Feature extraction、Sequence modeling、Prediction の4段階 STR フレームワークを導入する。
• 各段階内でモジュールのバリアントを評価できるようにする（例：TPS、VGG/RCNN/ResNet、BiLSTM、CTC/Attn）。
• 訓練データをMJSynthとSynthTextの和集合に固定し、統一された実データセットで評価する。
• 統一データセットの下で24のモジュール組み合わせを全量比較し、精度・速度・メモリを算出する。
• 異なる訓練データの組み合わせ（MJ、ST、両方）を用いたアブレーションでデータセット効果を分析する。
• 失敗ケースと定性的分析を報告し、残る課題を特定する。

実験結果

リサーチクエスチョン

• RQ1 STRの訓練/評価データセットの不整合は報告される性能にどのような影響を与えるか？
• RQ2 統一された4段階フレームワーク内でSTRモジュールを組み合わせることが精度・速度・メモリに与える影響は何か？
• RQ3 一貫したデータセットの下でどのモジュール選択が最適なトレードオフを生み出すか、そして残る課題は何か？
• RQ4 訓練データの選択（MJ、ST、または両方）が固定された評価プロトコル下でSTRの性能にどのように影響するか？

主な発見

• 不整合なデータセットは大きな性能のギャップを生み、STR手法間の公正な比較を妨げる。
• 統一訓練セット（MJ+ST）を使用すると、単独のデータセットより精度が向上し、組み合わせ時は84.1%、(MJ) 80.0%、(ST) 75.6%に対して改善される。
• 構造化された4段階フレームワークはモジュール組み合わせの体系的な探索を可能にし、精度と速度またはメモリのバランスを取る最前線の組み合わせを明らかにする。
• 特定のモジュール（例：ResNet、BiLSTM、TPS、Attn）は精度を段階的に改善する一方で、速度とメモリに異なる影響を与え、実用的なトレードオフの明確な前線を定義する。
• 分析結果、データセットが不規則だとモジュールのアップグレードによる精度向上が通常データセットの約2倍になることが示され、データセットの影響が結果に大きいことを強調している。