[論文レビュー] Rethinking Irregular Scene Text Recognition

Shangbang Long, Yushuo Guan+3 more|arXiv (Cornell University)|Aug 30, 2019

Handwritten Text Recognition Techniques参考文献 39被引用数 9

ひとこと要約

この論文は、曲がった形状や任意形状のテキスト認識の性能向上を図るために、補正ベースのモデルの性能を顕著に向上させる実用的な技術のセットを導入することで、不規則なシーンテキスト認識を再考する。曲がった合成データ（CurvedSynth）、ランダム回転を伴う正方形化、データ混合戦略、およびTextSnakeなどの検出器を用いた画像補正を活用することで、CUTE-80で89.6%、Total-Textで76.3%の精度を達成。これはそれぞれ前のSOTAを6.3%および14.7%上回り、ICDAR 2019 ArTチャレンジで74.3%のテスト精度を記録して優勝した。

ABSTRACT

Reading text from natural images is challenging due to the great variety in text font, color, size, complex background and etc.. The perspective distortion and non-linear spatial arrangement of characters make it further difficult. While rectification based method is intuitively grounded and has pushed the envelope by far, its potential is far from being well exploited. In this paper, we present a bag of tricks that prove to significantly improve the performance of rectification based method. On curved text dataset, our method achieves an accuracy of 89.6% on CUTE-80 and 76.3% on Total-Text, an improvement over previous state-of-the-art by 6.3% and 14.7% respectively. Furthermore, our combination of tricks helps us win the ICDAR 2019 Arbitrary-Shaped Text Challenge (Latin script), achieving an accuracy of 74.3% on the held-out test set. We release our code as well as data samples for further exploration at https://github.com/Jyouhou/ICDAR2019-ArT-Recognition-Alchemy

研究の動機と目的

• 標準的な合成データセット（SynthText や Synth90K）に曲がったテキストが不十分であることが原因で生じる不規則なシーンテキスト認識の性能ギャップを是正すること。
• データ構成、前処理、モデルアーキテクチャ、補正戦略が曲がったテキスト認識に与える影響を調査すること。
• シーンテキスト認識における一般的なディープラーニングの実践を再評価することで、任意形状テキストに対するモデルの汎化性とロバスト性を向上させること。
• 補正された入力画像、または検出器に基づく前処理が、直線テキストで学習されたモデルの認識精度を顕著に向上させられることを実証すること。

提案手法

• 訓練用に使用するため、豊富な曲がったテキストインスタンスを有する合成データセット「CurvedSynth」を提案。これにより、従来の直線テキスト中心の合成データを置き換えたり補完したりする。
• 曲がったテキストに対するモデルの汎化性を向上させる前処理技術として、ランダム回転を伴う正方形化を導入。回転によるデータオーグメンテーションが可能になる。
• ResNet+FPNバックボーン、多角形制御点を用いたTPSベースの補正モジュール、アテンションベースのRNNデコーダーを備えた補正ベースの認識パイプラインを採用。
• 異なるデータミキシングとアーキテクチャで学習された複数の補正モデルのボーリングアンサンブルを適用し、ロバスト性と精度を向上。
• 入力画像を事前に補正した効果を評価するために、Total-Textのテスト画像にGround-truthポリゴンを用いてTextSnakeを適用して生成した新しいデータセット「RectTotal」を導入。
• 合成データと現実世界データのバランスを取るデータミキシング戦略を実装。実データの割合を全訓練データの15%に設定することで、汎化性能を向上。

実験結果

リサーチクエスチョン

• RQ1 標準的な合成データと比較して、曲がったテキストを含む合成データで学習させることで、曲がったテキストベンチマークでの認識性能が顕著に向上するか？
• RQ2 ランダム回転を伴う正方形化処理が、不規則および曲がったテキスト認識性能に与える影響は何か？
• RQ3 事前に訓練された検出器（例：TextSnake）を用いて入力画像を補正することで、直線テキストで学習されたモデルの認識精度が向上するか？
• RQ4 任意形状テキスト認識の最適な合成データと現実世界データのミキシング比は何か？
• RQ5 すべての画像を固定サイズ（例：64×256）にリサイズするという標準的な前処理が、曲がったテキスト認識の性能を制限しているのか。可変サイズの入力は結果を改善できるか？

主な発見

• モデルを変更せずにCurvedSynthで学習することで、CUTE-80で6.3%の精度向上が達成され、89.6%の精度に到達。
• より困難なTotal-Textデータセットでは、76.3%の精度を達成。これは前のSOTAを14.7%上回った。
• 正方形化、データミキシング、ボーリングアンサンブルを組み合わせたアンサンブルシステムが、ICDAR 2019 ArTチャレンジの保留テストセットで74.3%の精度を記録し、優勝を達成。
• TextSnakeとGround-truthポリゴンを用いてテスト画像を事前に補正することで、直線テキストでのみ学習されたモデルが、曲がったテキスト認識で同等の性能を達成可能であることが示された。これにより、検出器の品質の重要性が明らかになった。
• ランダム回転を伴う正方形化処理は、曲がったテキスト認識性能を向上させるが、直線テキストではわずかな向上にとどまる。一方で、効果的なデータオーグメンテーションが可能になる。
• 本研究では、標準的な前処理（固定サイズリサイズ）およびデータ構成（例：SynthTextのみの使用）が、曲がったテキスト認識の堅牢性を達成する上で主要なボトルネックであることが判明した。