[論文レビュー] Text Prior Guided Scene Text Image Super-resolution

Jianqi Ma, Shi Guo+1 more|arXiv (Cornell University)|Jun 29, 2021

Advanced Image Processing Techniques被引用数 15

ひとこと要約

本稿では、テキスト認識モデルから得られる文字確率系列をカテゴリカルな事前知識として活用し、シーンテキスト画像の超解像を向上させるマルチステージフレームワークであるText Prior Guided Super-Resolution (TPGSR)を提案する。テキスト事前知識と再構築された高解像度画像を同時に最適化することで、TextZoomベンチマークにおいて視覚的品質とテキスト認識精度を顕著に向上させ、最先端手法を上回り、他のデータセットや中国語テキストに対しても良好な一般化性能を示す。

ABSTRACT

Scene text image super-resolution (STISR) aims to improve the resolution and visual quality of low-resolution (LR) scene text images, and consequently boost the performance of text recognition. However, most of existing STISR methods regard text images as natural scene images, ignoring the categorical information of text. In this paper, we make an inspiring attempt to embed categorical text prior into STISR model training. Specifically, we adopt the character probability sequence as the text prior, which can be obtained conveniently from a text recognition model. The text prior provides categorical guidance to recover high-resolution (HR) text images. On the other hand, the reconstructed HR image can refine the text prior in return. Finally, we present a multi-stage text prior guided super-resolution (TPGSR) framework for STISR. Our experiments on the benchmark TextZoom dataset show that TPGSR can not only effectively improve the visual quality of scene text images, but also significantly improve the text recognition accuracy over existing STISR methods. Our model trained on TextZoom also demonstrates certain generalization capability to the LR images in other datasets.

研究の動機と目的

• 既存のSTISR手法がテキスト画像を自然なシーン画像として扱い、カテゴリカルなテキスト情報を見過ごしているという限界に対処すること。
• テキスト認識確率系列を構造的事前知識として組み込むことで、低解像度のシーンテキスト画像の視覚的品質と可読性を向上させること。
• 洗練されたテキスト事前知識と強化された高解像度画像が、反復的精錬を通じて相互に改善し合うような共同学習フレームワークを構築すること。
• TextZoomベンチマークを超えた実世界の低解像度画像、特に多言語および長テキストのシナリオに対しても、提案手法の一般化能力を示すこと。

提案手法

• 本手法は、テキスト認識モデル（例：CRNN）を用いて、各低解像度シーンテキスト画像に対して文字確率系列をテキスト事前知識（TP）として生成する。
• このテキスト事前知識は、超解像ネットワークに条件付き入力として埋め込まれ、高解像度画像の再構築をガイドする。
• 提案されたTP損失を用いて、エンドツーエンド学習が可能な、反復的にテキスト事前知識と超解像画像を精錬するマルチステージのTPGSRフレームワークを設計する。
• 再構築された高解像度画像を用いて、テキスト事前知識生成器をファインチューニングすることで、事前知識の品質を向上させ、画像とテキスト事前知識の向上をフィードバックする。
• フレームワークは、実世界のTextZoomデータセット上で訓練および評価され、アブレーションスタディおよび最先端手法（例：TSRN）との比較が行われる。
• 多言語対応のため、ICPR2018-MTWIデータセット上で多言語CRNNモデルを訓練し、中国語および英語の文字に対して事前知識を生成する。

実験結果

リサーチクエスチョン

• RQ1 テキスト認識確率系列をカテゴリカルな事前知識として組み込むことで、シーンテキスト画像の超解像が顕著に向上するか？
• RQ2 再構築された高解像度画像とテキスト事前知識との相互精錬が、最終的なSR品質および認識精度にどのように影響するか？
• RQ3 提案されたTPGSRフレームワークは、中国語や韓国語のような他の言語や、他のデータセットからの低解像度画像に対しても一般化可能か？
• RQ4 特に回転・多方向・未知語彙のテキストに対して、本手法の失敗モードは何か？

主な発見

• TextZoomベンチマークにおいて、TPGSRは最先端手法TSRNに対して1.6%の絶対的認識精度向上を達成し、42.7%の認識精度を記録した（TSRNは41.1%）。
• 本手法は視覚的品質と可読性を顕著に向上させ、特にTSRNが文字を復元できない困難なケースにおいて顕著な改善を示す。
• 中国語テキストに適用した場合、HRの正解に対して56.1%の認識精度を達成した（TPGSR-TSRNは42.7%、TSRNは41.1%）、TSRNより1.6%の向上を示した。
• 他のデータセットに対しても強力な一般化性能を示し、韓国語・中国語・バンガラ語を含むICDAR-MLTデータセットにおいても、TSRNよりも明確な輪郭とより優れた知覚的品質を生成した。
• 失敗事例には、曖昧な入力に対して誤ったテキスト事前知識のガイドが生じるケース、回転または多方向テキストでは性能が低下するケース、極めて長いテキストシーケンスでは歪みが生じるケースがある。
• 初期結果では、中国語のような表意文字系にも本手法が有望であることが示唆されており、合成LR-HRペアで学習したにもかかわらず、TSRNよりもテキストストロークの復元が優れている。