[論文レビュー] A Text Attention Network for Spatial Deformation Robust Scene Text Image Super-resolution

Jianqi Ma, Zhetong Liang+1 more|arXiv (Cornell University)|Mar 17, 2022

Advanced Image Processing Techniques被引用数 8

ひとこと要約

本稿では、空間的に変形したテキスト（回転や曲がった形状など）の再構成を向上させるために、グローバルアテンションメカニズムを用いてテキスト意味を活用するCNN-TransformerハイブリッドネットワークTATTを提案する。PSNR、SSIM、および下流のテキスト認識精度において、特に困難な変形に対して最先端の性能を達成した。

ABSTRACT

Scene text image super-resolution aims to increase the resolution and readability of the text in low-resolution images. Though significant improvement has been achieved by deep convolutional neural networks (CNNs), it remains difficult to reconstruct high-resolution images for spatially deformed texts, especially rotated and curve-shaped ones. This is because the current CNN-based methods adopt locality-based operations, which are not effective to deal with the variation caused by deformations. In this paper, we propose a CNN based Text ATTention network (TATT) to address this problem. The semantics of the text are firstly extracted by a text recognition module as text prior information. Then we design a novel transformer-based module, which leverages global attention mechanism, to exert the semantic guidance of text prior to the text reconstruction process. In addition, we propose a text structure consistency loss to refine the visual appearance by imposing structural consistency on the reconstructions of regular and deformed texts. Experiments on the benchmark TextZoom dataset show that the proposed TATT not only achieves state-of-the-art performance in terms of PSNR/SSIM metrics, but also significantly improves the recognition accuracy in the downstream text recognition task, particularly for text instances with multi-orientation and curved shapes. Code is available at https://github.com/mjq11302010044/TATT.

研究の動機と目的

• 空間的に変形したシーンテキスト画像（特に回転・曲がったテキスト）のスーパーエンヘンスの課題に取り組む。現在のCNNベースの手法は局所的インダクティブバイアスのため、この分野で困難を抱えている。
• 既存手法の局所的特徴操作の限界を克服するため、変形に跨る意味的事前知識と視覚的特徴をよりよく一致させるためにグローバルアテンションを導入する。
• 正規と変形したテキスト再構成間の構造的類似性を強制する新しいテキスト構造一貫性損失を組み込むことで、テキスト再構成品質と下流の認識性能を向上させる。
• TextZoomベンチマークで最先端の結果を達成するとともに、リアルタイム推論速度を維持し、低品質で変形したテキスト画像を含む実世界データセットへの強い一般化性能を示す。

提案手法

• 低解像度のシーンテキスト画像からテキスト認識モデルを用いて意味的事前知識（テキスト事前知識、TP）を抽出し、高レベルなガイドとして用いる。
• テキスト事前知識と画像特徴の間のクロスアテンション機構に基づくTPインタプリター・モジュールを設計し、グローバルかつ長距離の特徴相互作用を可能にする。
• TPインタプリターを単一段階のスーパーエンヘンスネットワークに統合し、意味的一致性を保った高解像度画像生成をガイドする。
• 再構成された正規テキストと変形テキスト画像間の構造的差を最小化するテキスト構造一貫性（TSC）損失を提案し、視覚的忠実度を向上させる。
• 画像品質と構造的リアリズムを最適化するため、知覚的損失、 adversarial 損失、およびTSC損失の組み合わせを用いてモデルをエンドツーエンドで訓練する。
• 軽量で効率的なアーキテクチャを採用し、TPGSR や TBSRN と同等の高速推論速度（960 fps）を維持しながら、変形に対するロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 局所的畳み込み演算と比較して、グローバルアテンション機構は空間的に変形したシーンテキスト画像の再構成において有効に機能するか？
• RQ2 トランスフォーマーに基づくモジュールによる意味的テキスト事前知識の組み込みは、スーパーエンヘンスされたテキスト画像の視覚的品質と構造的正確性をどのように向上させるか？
• RQ3 提案されたテキスト構造一貫性損失は、ベースライン手法と比較して、曲がった・回転したテキストの回復をどの程度改善するか？
• RQ4 意味的ガイド付き単一段階モデルは、画像品質と下流のテキスト認識精度の両面で、マルチステージアプローチを上回るか？
• RQ5 提案手法は、ICDAR15、CUTE80、SVTP などの外部データセットから得た実世界の低品質テキスト画像に対し、どの程度一般化性能を示すか？

主な発見

• TATTはTextZoomベンチマークでPSNR（21.52）とSSIM（0.7930）の最先端性能を達成し、マルチステージモデルを含む既存手法を上回った。
• ASTERとCRNNの両方を用いたSR出力のテキスト認識精度において、3段階のTPGSR-3モデルでさえも上回る単一段階アーキテクチャの優位性を示した。
• 手動で選別された回転・曲がったテキストサンプルでは、TPGSR や TBSRN と比較してTATTが顕著な性能差を示し、変形に対する優れたロバストネスを示した。
• TSC損失は、特に変形テキストのケースにおいて視覚的品質と文字構造の精錬を向上させ、定性的な比較でその有効性が示された。
• TATTは実世界のデータセット（ICDAR15、CUTE80、SVTP）への一般化性能が高く、低解像度で劣化した画像をテストした際、あらゆる劣化タイプで最高の認識精度を達成した。
• モデルは高い推論速度（960 fps）を維持しており、TPGSR や TBSRN と同等の実用的効率性を示しながら、最先端の性能を実現した。