[논문 리뷰] A comparative analysis of SRGAN models

Fatemeh Rezapoor Nikroo, Ajinkya Deshmukh외 5명|arXiv (Cornell University)|2023. 07. 18.

Advanced Image Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 연구는 실세계의 열화된 이미지에서 초해상도 및 OCR 성능을 위해 EDSR-BASE, Real-ESRGAN, ESRGAN, EDSR를 평가한다. EDSR-BASE는 OCR 정확도(0.4 스케일에서 100%), PSNR, SSIM 및 계산 효율성에서 모든 모델을 능가하여 고정밀도, 저계산 부하 응용 분야에 최적임을 입증한다.

ABSTRACT

In this study, we evaluate the performance of multiple state-of-the-art SRGAN (Super Resolution Generative Adversarial Network) models, ESRGAN, Real-ESRGAN and EDSR, on a benchmark dataset of real-world images which undergo degradation using a pipeline. Our results show that some models seem to significantly increase the resolution of the input images while preserving their visual quality, this is assessed using Tesseract OCR engine. We observe that EDSR-BASE model from huggingface outperforms the remaining candidate models in terms of both quantitative metrics and subjective visual quality assessments with least compute overhead. Specifically, EDSR generates images with higher peak signal-to-noise ratio (PSNR) and structural similarity index (SSIM) values and are seen to return high quality OCR results with Tesseract OCR engine. These findings suggest that EDSR is a robust and effective approach for single-image super-resolution and may be particularly well-suited for applications where high-quality visual fidelity is critical and optimized compute.

연구 동기 및 목표

• 실세계의 열화된 이미지에서 초해상도를 위한 최신 기술의 SRGAN 모델들—EDSR-BASE, Real-ESRGAN, ESRGAN, EDSR를 비교한다.
• Tesseract OCR 엔진을 사용하여 초해상도 처리가 후속 OCR 정확도에 미치는 영향을 평가한다.
• 다양한 이미지 열화 수준(저해상도 스케일 0.1–0.5)과 DPI(200–260 dpi)에서 모델 성능을 평가한다.
• 최소한의 계산 오버헤드로 고정밀도 이미지 복원에 가장 효율적이고 정확한 모델을 특정한다.
• GAN 기반 모델(Esrgan, Real-ESRGAN)과 비-GAN, 재구성 기반 모델(EDSR)이 실세계 텍스트 이미지에서 더 나은 OCR 결과를 낼지 판단한다.

제안 방법

• 실세계 이미지를 0.1에서 0.5 사이의 저해상도 스케일로 열화시켜 실제 이미지 품질 손실를 시뮬레이션하는 파이프라인을 적용했다.
• 네 가지 모델을 사용: EDSR-BASE, Real-ESRGAN, ESRGAN, EDSR(Hugging Face), 모두 단일 이미지 초해상도를 위해 훈련된 모델이다.
• 초해상도 출력물에 Tesseract OCR을 적용하여 다양한 열화 수준과 DPI(200–260 dpi)에서 OCR 정확도를 측정했다.
• 이미지 재구성 품질 평가를 위해 PSNR 및 SSIM 지표를 사용하여 성능을 정량화했다.
• 여섯 개의 열화 스케일과 다섯 개의 DPI 수준(200–260 dpi)에서 평가를 수행했으며, 결과는 각 스케일과 DPI별로 집계되었다.
• GAN 기반 모델(Esrgan, Real-ESRGAN)에서는 적대적 훈련을, EDSR에서는 비적대적, 잔차 블록 기반 훈련을 사용하여 비교 분석을 수행했다.

Figure 1: Block diagram of pipeline.

실험 결과

연구 질문

• RQ1 다양한 수준의 이미지 열화(저해상도 스케일 0.1–0.5)와 DPI(200–260 dpi)에서 어떤 초해상도 모델이 가장 높은 OCR 정확도를 달성하는가?
• RQ2 평가된 초해상도 모델들에서 PSNR 및 SSIM 값은 OCR 성능과 어떻게 상관관계가 있는가?
• RQ3 적대적 훈련(ESRGAN 및 Real-ESRGAN에서 사용)은 비적대적, 재구성 기반 훈련(EDSR에서 사용)보다 더 나은 OCR 결과를 낳는가?
• RQ4 OCR 정확도가 100%에 도달하는 스케일에서 EDSR-BASE와 Real-ESRGAN 간의 계산 효율성은 어떻게 비교되는가?
• RQ5 초해상도 모델은 고도로 열화된 이미지(예: 저해상도 스케일 0.1–0.3)에서 텍스트를 얼마나 잘 복원하여 신뢰할 수 있는 OCR를 가능하게 하는가?

주요 결과

• EDSR-BASE는 모든 DPI 수준(220–260 dpi)에서 저해상도 스케일 0.4에서 100%의 OCR 정확도를 달성하여 모든 다른 모델을 능가했다.
• 저해상도 스케일 0.4에서 EDSR-BASE는 220 dpi(표 3), 230 dpi(표 4), 240 dpi(표 5), 250 dpi(표 6), 260 dpi(표 7)에서 모두 100%의 OCR 정확도를 유지했다.
• 모든 테스트된 열화 수준에서 EDSR-BASE는 Real-ESRGAN, ESRGAN, EDSR보다 높은 PSNR 및 SSIM 값을 기록했다.
• Real-ESRGAN은 저해상도 스케일 0.1, 0.2, 0.3에서만 EDSR-BASE를 능가했지만, 심지어 스케일 0.4에서도 100%의 OCR 정확도에 도달하지 못했다.
• ESRGAN은 일관되게 열등했으며, 블러와 압축 아티팩트를 제거하지 못해 심지어 스케일 0.4에서도 OCR 정확도가 98% 이하에 머물렀다.
• EDSR-BASE는 더 낮은 계산 자원을 요구하면서도 더 높은 OCR 정확도를 달성하여, 대규모 배포에 더 효율적이다.