[논문 리뷰] A Systematic Survey of Deep Learning-based Single-Image Super-Resolution

Juncheng Li, Zehua Pei외 5명|arXiv (Cornell University)|2021. 09. 29.

Advanced Image Processing Techniques참고 문헌 162인용 수 28

한 줄 요약

이 논문은 딥 러닝 기반의 단일 이미지 초해상도(SISR)에 대한 포괄적 조사를 제공하며, 목표 대상별로 방법을 정리하고 데이터셋, 업샘플링 기법, 손실 및 평가 지표를 요약합니다. 또한 DL 기반 SISR의 도전 과제와 향후 방향에 대해 논의합니다.

ABSTRACT

Single-image super-resolution (SISR) is an important task in image processing, which aims to enhance the resolution of imaging systems. Recently, SISR has made a huge leap and has achieved promising results with the help of deep learning (DL). In this survey, we give an overview of DL-based SISR methods and group them according to their design targets. Specifically, we first introduce the problem definition, research background, and the significance of SISR. Secondly, we introduce some related works, including benchmark datasets, upsampling methods, optimization objectives, and image quality assessment methods. Thirdly, we provide a detailed investigation of SISR and give some domain-specific applications of it. Fourthly, we present the reconstruction results of some classic SISR methods to intuitively know their performance. Finally, we discuss some issues that still exist in SISR and summarize some new trends and future directions. This is an exhaustive survey of SISR, which can help researchers better understand SISR and inspire more exciting research in this field. An investigation project for SISR is provided at https://github.com/CV-JunchengLi/SISR-Survey.

연구 동기 및 목표

• 특정 목표별로 조직된 DL 기반 SISR 방법에 대한 포괄적 개요를 제공합니다.
• SISR에 사용되는 벤치마크 데이터셋, 열화 모델 및 업샘플링 기법을 요약합니다.
• SISR에서의 최적화 목표 및 화질 평가 방법을 검토합니다.
• 새로운 연구를 고무하기 위한 현안 과제, 격차 및 향후 방향을 논의합니다.

제안 방법

• DL 기반 SISR 방법을 네 가지 목표 기반 범주로 분류합니다: 재구성 효율성, 재구성 정확도, 지각적 품질, 그리고 추가 개선.
• BI, BD, DN 모드를 포함한 SISR의 문제 설정과 열화 모델을 설명합니다.
• Pre-upsampling, post-upsampling, 및 sub-pixel convolution 계층과 같은 업샘플링 방법을 요약합니다.
• 픽셀, 콘텐츠, 적대적, 그리고 사전 손실을 포함한 손실 함수 유형과 이들의 학습 방향에서의 역할을 상세히 설명합니다.
• 지도 학습 및 비지도 학습 전략과 이들의 최적화 목표를 설명합니다.
• 재구성 정확도, 지각적 품질, 재구성 효율성 평가 방법을 논의합니다.

Figure 1: SISR aims to reconstruct a super-resolution (SR) image from its degraded low-resolution (LR) one.

실험 결과

연구 질문

• RQ1 재구성 대상에 따라 분류했을 때 주요 DL 기반 SISR 방법은 무엇입니까?
• RQ2 SISR 모델의 학습 및 평가에 일반적으로 사용되는 벤치마크 데이터셋과 열화 모델은 무엇입니까?
• RQ3 일반적으로 많이 사용되는 업샘플링 전략과 손실 함수는 무엇이며, 이는 결과에 어떤 영향을 줍니까?
• RQ4 정확도, 지각적 품질 및 효율성 측면에서 DL 기반 SISR 방법은 어떻게 평가됩니까?

주요 결과

• 본 조사는 100개가 넘는 SR 방법을 다루고 명확한 해석을 위한 목표 기반 분류를 강조합니다.
• DIV2K가 널리 사용되는 학습 데이터셋으로 확인되며 RealSR은 실제 세계의 쌍 LR/HR 데이터를 나타냅니다.
• 전치 합성(convolution) 및 sub-pixel convolution을 포함한 다양한 업샘플링 방법이 논의되고 효율성과 정확성의 균형에 중점을 둡니다.
• 일반적인 손실 함수로는 픽셀 손실(L1/MSE/Charbonnier), 콘텐츠 손실, 적대적 손실, 그리고 사전 손실이 포함되며 보통 조합하여 사용됩니다.
• 평가에는 정확도를 위한 PSNR/SSIM과 지각적 품질을 위한 NIQE/PI/LPIPS/MOS가 포함되며 왜곡과 지각적 결과 사이의 트레이드오프를 지적합니다.
• 본 논문은 성능과 실용성의 균형을 맞추기 위한 모델 크기, 실행 시간, Mult-Adds와 같은 재구성 효율성 지표에 대한 가이드를 제공합니다.

Figure 2: The content and taxonomy of this survey. In this survey, we divide the DL-based SISR methods into four categories, which are classified according to their specific targets. Among them, the dark gray blocks are the focus methods in this survey.