[논문 리뷰] Real-World Single Image Super-Resolution: A Brief Review

Honggang Chen, Xiaohai He외 4명|arXiv (Cornell University)|2021. 03. 03.

Advanced Image Processing TechniquesComputer Science참고 문헌 136인용 수 22

한 줄 요약

이 논문은 실세계 단일 이미지 초해상도(Real-World Single Image Super-Resolution, RSISR)에 대한 종합적인 리뷰를 제공하며, 열화 모델링, 이미지 쌍, 도메인 번역, 자기학습 방법을 분석한다. 실세계 데이터를 넘어서 합성 데이터에 국한되지 않은 실용적 RSISR 응용을 발전시키기 위한 비판적 로드맵을 제공하며, 주요 데이터셋, 평가 지표, 도메인 갭, 모델 효율성, 參고 없는 평가의 부재와 같은 과제를 강조한다.

ABSTRACT

Single image super-resolution (SISR), which aims to reconstruct a high-resolution (HR) image from a low-resolution (LR) observation, has been an active research topic in the area of image processing in recent decades. Particularly, deep learning-based super-resolution (SR) approaches have drawn much attention and have greatly improved the reconstruction performance on synthetic data. Recent studies show that simulation results on synthetic data usually overestimate the capacity to super-resolve real-world images. In this context, more and more researchers devote themselves to develop SR approaches for realistic images. This article aims to make a comprehensive review on real-world single image super-resolution (RSISR). More specifically, this review covers the critical publically available datasets and assessment metrics for RSISR, and four major categories of RSISR methods, namely the degradation modeling-based RSISR, image pairs-based RSISR, domain translation-based RSISR, and self-learning-based RSISR. Comparisons are also made among representative RSISR methods on benchmark datasets, in terms of both reconstruction quality and computational efficiency. Besides, we discuss challenges and promising research topics on RSISR.

연구 동기 및 목표

• 합성 데이터와 실세계 이미지 초해상도 간 성능 격차를 해소하기 위해 최근 RSISR 기술 발전을 검토하는 것.
• 도메인 이동으로 인해 기존 딥러닝 기반 SISR 방법이 실세계 이미지에 적용될 때 겪는 한계를 특정하고 분석하는 것.
• RSISR 모델 훈련 및 벤치마킹에 핵심적인 공개된 데이터셋과 평가 지표를 요약하는 것.
• 열화 모델링, 이미지 쌍, 도메인 번역, 자기학습 접근법의 네 가지 주요 RSISR 방법 유형을 검토하는 것.
• 모델 효율성, 데이터 부족, 參고 없는 품질 평가의 필요성 등 RSISR 분야의 열린 과제를 부각하는 것.

제안 방법

• RSISR 방법을 네 가지 유형으로 분류: 열화 모델링 기반, 이미지 쌍 기반, 도메인 번역 기반, 자기학습 기반 접근법.
• Real-ESRGAN, DIV2K 등 주요 데이터셋을 검토하며, RSISR 모델의 훈련 및 평가에 사용됨.
• PSNR, SSIM 등의 표준 평가 지표를 분석하고, 인간의 시각적 품질 평가와의 상관관계 부족을 논의.
• 재구성 품질과 계산 효율성 측면에서 벤치마크 데이터셋에서 대표적인 RSISR 방법을 비교.
• 입력 데이터 유형, 학습 파라다임, 열화 모델링 전략을 기반으로 RSISR 기법의 분류 체계를 제안.
• 실제 열화 모델링과 다중 해상도 이미지 정렬의 중요성을 논의하여 성능 향상에 기여.

실험 결과

연구 질문

• RQ1 기존 딥러닝 기반 SISR 방법은 합성 데이터에 비해 실세계 이미지에서 어떻게 성능을 발휘하는가?
• RQ2 합성 이미지와 실세계 이미지 간 열화 패턴의 핵심 차이점은 무엇이며, 초해상도 성능에 어떤 영향을 미치는가?
• RQ3 열화 모델링, 자기지도 학습 등 RSISR 방법 유형 중 실세계 구현에 가장 유망한 것은 무엇인가?
• RQ4 PSNR와 SSIM과 같은 기존 평가 지표가 초해상도 이미지의 시각적 품질 평가에서 어떤 한계를 지닌다?
• RQ5 쌍체 훈련 데이터 없이도 다양한 실세계 이미지 열화에 적응 가능한 더 효율적이고 유연한 RSISR 모델을 어떻게 설계할 수 있는가?

주요 결과

• 딥러닝 기반 SISR 방법은 합성 데이터에선 높은 성능를 보이지만, 도메인 갭으로 인해 실세계 이미지에선 성능이 크게 떨어진다.
• Real-ESRGAN, DIV2K와 같은 현실적인 데이터셋의 사용이 RSISR 성능 향상에 기여했지만, 더 크고 다양한 데이터셋이 여전히 필요하다.
• PSNR와 SSIM은 널리 사용되지만 인간의 시각적 인식과 잘 연관되지 않으며, 특히 실세계 이미지에선 더욱 그렇다.
• 자기학습 기반 및 도메인 번역 기반 RSISR 방법은 쌍체 훈련 데이터 의존도를 줄이는 데 유망한 성과를 보이고 있다.
• 모델 효율성과 추론 속도는 여전히 핵심 과제이며, 많은 최첨단 RSISR 모델은 계산 비용이 매우 높다.
• 고해상도 기준이 없는 실용적 구현을 위해 參考 없는 품질 평가 지표의 급한 필요성이 대두된다.