[論文レビュー] A comparative analysis of SRGAN models

Fatemeh Rezapoor Nikroo, Ajinkya Deshmukh+5 more|arXiv (Cornell University)|Jul 18, 2023

Advanced Image Processing TechniquesComputer Science被引用数 3

ひとこと要約

本研究では、実世界の劣化画像に対する超解像とOCR性能を評価するために、EDSR-BASE、Real-ESRGAN、ESRGAN、EDSRを検証した。EDSR-BASEは、OCR精度（0.4スケールで100％）、PSNR、SSIM、計算効率においてすべてのモデルを上回り、高忠実度・低計算負荷の応用に最適である。

ABSTRACT

In this study, we evaluate the performance of multiple state-of-the-art SRGAN (Super Resolution Generative Adversarial Network) models, ESRGAN, Real-ESRGAN and EDSR, on a benchmark dataset of real-world images which undergo degradation using a pipeline. Our results show that some models seem to significantly increase the resolution of the input images while preserving their visual quality, this is assessed using Tesseract OCR engine. We observe that EDSR-BASE model from huggingface outperforms the remaining candidate models in terms of both quantitative metrics and subjective visual quality assessments with least compute overhead. Specifically, EDSR generates images with higher peak signal-to-noise ratio (PSNR) and structural similarity index (SSIM) values and are seen to return high quality OCR results with Tesseract OCR engine. These findings suggest that EDSR is a robust and effective approach for single-image super-resolution and may be particularly well-suited for applications where high-quality visual fidelity is critical and optimized compute.

研究の動機と目的

• 実世界の劣化画像に対する最新のSRGANモデル（EDSR-BASE、Real-ESRGAN、ESRGAN、EDSR）の超解像性能を比較すること。
• Tesseract OCRエンジンを用いて、超解像処理が下流のOCR精度に与える影響を評価すること。
• 画像の劣化度合い（低解像度スケール0.1–0.5）およびDPI（200–260 dpi）の変動に応じたモデル性能を評価すること。
• 計算負荷を最小限に抑えて高忠実度の画像復元を実現できる最も効率的で正確なモデルを特定すること。
• GANベースのモデル（ESRGAN、Real-ESRGAN）と非GAN、再構成ベースのモデル（EDSR）のどちらが、実世界のテキスト画像においてより優れたOCR結果をもたらすかを特定すること。

提案手法

• 実世界の画像を0.1～0.5の低解像度スケールに劣化させるパイプラインを適用し、実際の画像品質の損失を模擬した。
• 4つのモデル（EDSR-BASE、Real-ESRGAN、ESRGAN、EDSR（Hugging Face））を用い、いずれも単一画像超解像用に訓練済みである。
• 超解像出力に対してTesseract OCRを適用し、さまざまな劣化度合いおよびDPI（200–260 dpi）におけるOCR精度を測定した。
• 画像再構成品質の評価に、PSNRおよびSSIM指標を用いた。
• 6つの劣化スケールおよび5つのDPIレベル（200–260 dpi）でモデルを評価し、スケールおよびDPIごとに結果を集計した。
• GANベースのモデル（ESRGAN、Real-ESRGAN）では敵対的学習を、EDSRでは非敵対的で残差ブロックに基づく学習を適用し、比較を行った。

Figure 1: Block diagram of pipeline.

実験結果

リサーチクエスチョン

• RQ1 どの超解像モデルが、画像劣化度合い（低解像度スケール0.1–0.5）およびDPI（200–260 dpi）の変動にかかわらず最高のOCR精度を達成するか？
• RQ2 PSNRおよびSSIM値は、評価された超解像モデルのOCR性能とどのように相関しているか？
• RQ3 ESRGANおよびReal-ESRGANに用いられる敵対的学習は、非敵対的で再構成ベースの学習（EDSR）に比べ、より優れたOCR結果をもたらすか？
• RQ4 OCR精度が100％に達するスケールにおいて、EDSR-BASEとReal-ESRGANの計算効率はどのように比較されるか？
• RQ5 超解像モデルは、重度に劣化した画像（例：低解像度スケール0.1–0.3）からのテキストをどれほど回復できるか？その回復が信頼できるOCRに寄与するか？

主な発見

• EDSR-BASEは、すべてのDPIレベル（220–260 dpi）で低解像度スケール0.4において100％のOCR精度を達成し、他のすべてのモデルを上回った。
• 低解像度スケール0.4において、EDSR-BASEは220 dpi（表3）、230 dpi（表4）、240 dpi（表5）、250 dpi（表6）、260 dpi（表7）で100％のOCR精度を維持した。
• EDSR-BASEは、すべてのテスト劣化度合いにおいて、Real-ESRGAN、ESRGAN、EDSRよりも高いPSNRおよびSSIM値を達成した。
• Real-ESRGANは、低解像度スケール0.1、0.2、0.3でのみEDSR-BASEを上回ったが、スケール0.4でも100％のOCR精度に到達しなかった。
• ESRGANは一貫して劣悪な性能を示し、ぼやけや圧縮アーチファクトを除去できず、スケール0.4でも98％未満のOCR精度にとどまった。
• EDSR-BASEは、Real-ESRGANよりも計算負荷が低く、優れたOCR精度を達成したため、大規模な展開においてより効率的である。