[论文解读] A comparative analysis of SRGAN models

Fatemeh Rezapoor Nikroo, Ajinkya Deshmukh+5 more|arXiv (Cornell University)|Jul 18, 2023

Advanced Image Processing TechniquesComputer Science被引用 3

一句话总结

本研究评估了 EDSR-BASE、Real-ESRGAN、ESRGAN 和 EDSR 在真实世界退化图像上的超分辨率与 OCR 性能。EDSR-BASE 在 OCR 准确率（0.4 倍缩放下达 100%）、PSNR、SSIM 和计算效率方面均优于所有模型，使其成为高保真、低计算需求应用的最优选择。

ABSTRACT

In this study, we evaluate the performance of multiple state-of-the-art SRGAN (Super Resolution Generative Adversarial Network) models, ESRGAN, Real-ESRGAN and EDSR, on a benchmark dataset of real-world images which undergo degradation using a pipeline. Our results show that some models seem to significantly increase the resolution of the input images while preserving their visual quality, this is assessed using Tesseract OCR engine. We observe that EDSR-BASE model from huggingface outperforms the remaining candidate models in terms of both quantitative metrics and subjective visual quality assessments with least compute overhead. Specifically, EDSR generates images with higher peak signal-to-noise ratio (PSNR) and structural similarity index (SSIM) values and are seen to return high quality OCR results with Tesseract OCR engine. These findings suggest that EDSR is a robust and effective approach for single-image super-resolution and may be particularly well-suited for applications where high-quality visual fidelity is critical and optimized compute.

研究动机与目标

• 比较最先进的 SRGAN 模型——EDSR-BASE、Real-ESRGAN、ESRGAN 和 EDSR——在真实世界退化图像上的图像超分辨率性能。
• 评估超分辨率对下游 OCR 准确率的影响，使用 Tesseract OCR 引擎进行测量。
• 在不同图像退化水平（低分辨率缩放比例 0.1–0.5）和 DPI（200–260 dpi）下评估模型性能。
• 识别在计算开销最小的前提下，实现高保真图像恢复的最高效且最准确的模型。
• 确定基于 GAN 的模型（ESRGAN、Real-ESRGAN）还是非 GAN 的重建型模型（EDSR）在真实世界文本图像上能带来更好的 OCR 结果。

提出的方法

• 采用流水线将真实世界图像降级为低分辨率（LR）缩放比例 0.1 至 0.5，以模拟真实世界图像质量损失。
• 使用四种模型：EDSR-BASE、Real-ESRGAN、ESRGAN 和 EDSR（Hugging Face），所有模型均训练用于单图像超分辨率。
• 对超分辨率输出应用 Tesseract OCR，以测量在不同退化水平和 DPI（200–260 dpi）下的 OCR 准确率。
• 使用 PSNR 和 SSIM 指标量化性能，以评估图像重建质量。
• 在六个退化缩放比例和五个 DPI 水平（200–260 dpi）下评估模型，结果按缩放比例和 DPI 聚合。
• 在基于 GAN 的模型（ESRGAN、Real-ESRGAN）中使用对抗性训练，而在 EDSR 中采用非对抗性、基于残差块的训练以作对比。

Figure 1: Block diagram of pipeline.

实验结果

研究问题

• RQ1 在不同图像退化水平（LR 缩放比例 0.1–0.5）和 DPI（200–260 dpi）下，哪种超分辨率模型能实现最高的 OCR 准确率？
• RQ2 PSNR 和 SSIM 值与所评估的超分辨率模型的 OCR 性能之间是否存在相关性？
• RQ3 在 ESRGAN 和 Real-ESRGAN 中使用对抗性训练是否能带来优于 EDSR 的非对抗性、基于重建的训练的 OCR 结果？
• RQ4 EDSR-BASE 与 Real-ESRGAN 在计算效率方面如何比较，尤其是在 OCR 准确率达到 100% 的缩放比例下？
• RQ5 超分辨率模型在多大程度上能从高度退化的图像中（例如 LR 缩放比例 0.1–0.3）恢复文本，以实现可靠的 OCR？

主要发现

• EDSR-BASE 在所有 DPI 水平（220–260 dpi）下，于 LR 缩放比例 0.4 时均实现了 100% 的 OCR 准确率，优于所有其他模型。
• 在 LR 缩放比例 0.4 时，EDSR-BASE 在 220 dpi（表 3）、230 dpi（表 4）、240 dpi（表 5）、250 dpi（表 6）和 260 dpi（表 7）下均保持 100% 的 OCR 准确率。
• EDSR-BASE 在所有测试退化水平下，PSNR 和 SSIM 值均高于 Real-ESRGAN、ESRGAN 和 EDSR。
• Real-ESRGAN 仅在 LR 缩放比例 0.1、0.2 和 0.3 时优于 EDSR-BASE，但在缩放比例 0.4 时仍未能达到 100% 的 OCR 准确率。
• ESRGAN 表现始终较差，未能有效去除模糊和压缩伪影，导致即使在缩放比例 0.4 时 OCR 准确率也低于 98%。
• EDSR-BASE 在实现更优 OCR 准确率的同时，计算需求低于 Real-ESRGAN，因此在大规模部署中更具效率。