[論文レビュー] Scene Text Image Super-Resolution in the Wild

Wenjia Wang, Enze Xie+5 more|arXiv (Cornell University)|May 7, 2020

Advanced Image Processing Techniques参考文献 47被引用数 7

ひとこと要約

本稿では、シーンテキスト超解像（SR）のための最初の実世界ペアデータセットであるTextZoomを提案するとともに、順次残差ブロック、境界認識損失、中央アライメントを備えた新しいSRネットワークTSRNを導入する。実験の結果、TSRNは合成データを用いた場合と比較して、実際の低解像度テキストにおいてCRNNの認識精度を13%以上向上させ、最先端のSR手法を著しく上回る性能を示した。

ABSTRACT

Low-resolution text images are often seen in natural scenes such as documents captured by mobile phones. Recognizing low-resolution text images is challenging because they lose detailed content information, leading to poor recognition accuracy. An intuitive solution is to introduce super-resolution (SR) techniques as pre-processing. However, previous single image super-resolution (SISR) methods are trained on synthetic low-resolution images (e.g.Bicubic down-sampling), which is simple and not suitable for real low-resolution text recognition. To this end, we pro-pose a real scene text SR dataset, termed TextZoom. It contains paired real low-resolution and high-resolution images which are captured by cameras with different focal length in the wild. It is more authentic and challenging than synthetic data, as shown in Fig. 1. We argue improv-ing the recognition accuracy is the ultimate goal for Scene Text SR. In this purpose, a new Text Super-Resolution Network termed TSRN, with three novel modules is developed. (1) A sequential residual block is proposed to extract the sequential information of the text images. (2) A boundary-aware loss is designed to sharpen the character boundaries. (3) A central alignment module is proposed to relieve the misalignment problem in TextZoom. Extensive experiments on TextZoom demonstrate that our TSRN largely improves the recognition accuracy by over 13%of CRNN, and by nearly 9.0% of ASTER and MORAN compared to synthetic SR data. Furthermore, our TSRN clearly outperforms 7 state-of-the-art SR methods in boosting the recognition accuracy of LR images in TextZoom. For example, it outperforms LapSRN by over 5% and 8%on the recognition accuracy of ASTER and CRNN. Our results suggest that low-resolution text recognition in the wild is far from being solved, thus more research effort is needed.

研究の動機と目的

• 実世界の低解像度シーンテキスト認識におけるギャップを埋めるために、現実的でリアルな超解像データセットを構築すること。
• 文字列の順序と境界の明瞭さが重要なシーンテキスト向けに、最適化された超解像手法を開発すること。
• 自然のシーンにおける実際の劣化パターンを捉えられていないため、合成データによるSR学習の限界を克服すること。
• 現実的な超解像前処理を活用することで、低解像度画像上のテキスト認識精度を向上させること。
• 今後の実世界のシーンテキスト超解像分野の研究のためのベンチマークデータセットとモデルを提供すること。

提案手法

• 自然環境下で異なる焦点距離を用いて撮影された実際の低解像度と高解像度のシーンテキスト画像のペアからなるTextZoomを提案。
• テキストライン内の文字間の順次的依存関係をモデル化するため、順次残差ブロックを設計。これにより、文脈に配慮した特徴抽出が向上。
• 超解像過程での文字境界の鋭さを向上させるために、勾配プロファイル損失（境界認識損失）を導入。
• カメラの移動やズームによるLRとHR画像間のずれを軽減するため、中央アライメントモジュールを開発。
• ペアな実データを用いてTSRNモデルをエンドツーエンドで学習し、視覚的品質と認識性能の両方を最適化。
• 学習のために、高解像度画像を16〜32ピクセルの高さに選択し、その2倍にダウンサンプリングしたものを低解像度入力として用いるマルチスケール戦略を採用。

実験結果

リサーチクエスチョン

• RQ1 実世界の低解像度と高解像度のシーンテキスト画像ペアデータセットは、合成データと比較して超解像性能を向上させることができるか？
• RQ2 テキストライン内の順次的キャラクタ関係をモデル化することで、超解像性能とその後の認識精度にどのような影響を与えるか？
• RQ3 勾配プロファイル損失による境界の鋭さ強化は、超解像画像上の文字認識にどの程度効果をもたらすか？
• RQ4 中央アライメントは、実世界のシーンテキスト超解像におけるずれアーチファクトをどの程度効果的に低減できるか？
• RQ5 実データで学習した超解像モデルは、低解像度シーンテキストにおける認識精度を著しく向上させることができるか？

主な発見

• TSRNは、合成SRデータを用いた場合と比較して、実際の低解像度テキスト画像においてCRNNの認識精度を13%以上向上させた。
• 合成SRデータを前処理として用いた場合、TSRNはASTERやMORANと比較して認識精度で約9.0%高い性能を達成した。
• TextZoomデータセットにおいて、TSRNは低解像度シーンテキストの認識精度を向上させる7つの最先端SR手法を上回った。
• TextZoomのハードサブセットでは、低解像度画像の認識精度が31.6%に低下しており、実世界の劣化の挑戦性を示している。
• 高さ8ピクセル未満の画像では認識精度がほぼゼロに近づくため、データセットからの除外が正当化される。
• 境界認識損失は、文字境界の鋭さを顕著に向上させ、認識性能の向上に寄与した。