[논문 리뷰] A Comprehensive Review of Deep Learning-based Single Image Super-resolution

Syed Muhammad Arsalan Bashir, Yi Wang외 2명|arXiv (Cornell University)|2021. 02. 18.

Advanced Image Processing Techniques참고 문헌 224인용 수 10

한 줄 요약

이 논문은 딥러닝 기반 단일 이미지 초해상도(SISR)에 대한 종합적인 리뷰를 제공하며, 방법을 고전적, 지도학습 기반, 비지도학습 기반, 도메인 특화 접근법으로 분류한다. EDSR, SRFBN, WRAN과 같은 최신 모델들을 표준 벤치마크를 사용해 평가하며, SISR 분야의 성능, 메트릭, 데이터셋, 향후 연구 방향성에 대한 통찰을 제공한다.

ABSTRACT

Image super-resolution (SR) is one of the vital image processing methods that improve the resolution of an image in the field of computer vision. In the last two decades, significant progress has been made in the field of super-resolution, especially by utilizing deep learning methods. This survey is an effort to provide a detailed survey of recent progress in single-image super-resolution in the perspective of deep learning while also informing about the initial classical methods used for image super-resolution. The survey classifies the image SR methods into four categories, i.e., classical methods, supervised learning-based methods, unsupervised learning-based methods, and domain-specific SR methods. We also introduce the problem of SR to provide intuition about image quality metrics, available reference datasets, and SR challenges. Deep learning-based approaches of SR are evaluated using a reference dataset. Some of the reviewed state-of-the-art image SR methods include the enhanced deep SR network (EDSR), cycle-in-cycle GAN (CinCGAN), multiscale residual network (MSRN), meta residual dense network (Meta-RDN), recurrent back-projection network (RBPN), second-order attention network (SAN), SR feedback network (SRFBN) and the wavelet-based residual attention network (WRAN). Finally, this survey is concluded with future directions and trends in SR and open problems in SR to be addressed by the researchers.

연구 동기 및 목표

• 딥러닝 기반 단일 이미지 초해상도(SISR) 기법에 대한 상세하고 최신의 종합적 서베이를 제공하는 것.
• SISR 방법을 고전적, 지도학습 기반, 비지도학습 기반, 도메인 특화 접근법의 네 가지 범주로 분류하는 것.
• 기준 데이터셋과 표준 이미지 품질 메트릭을 사용해 최신 SISR 모델을 평가하는 것.
• 연구자와 실무자들을 위한 개방된 문제점과 향후 연구 방향성을 규명하는 것.
• SISR의 기초적 이해를 제공하여 도전 과제, 데이터셋, 성능 평가 기준을 포함하는 것.

제안 방법

• 이 서베이에서는 SISR 방법을 고전적, 지도학습 기반, 비지도학습 기반, 도메인 특화 방법의 네 가지 범주로 분류한다.
• EDSR, RBPN, MSRN, Meta-RDN, SAN, SRFBN, WRAN과 같은 핵심 딥러닝 아키텍처를 설계 및 성능 측면에서 분석한다.
• 논문은 표준 기준 데이터셋과 PSNR 및 SSIM과 같은 일반적인 이미지 품질 메트릭을 사용해 모델을 평가한다.
• 잔차 학습, 주의 메커니즘, 다중 척도 특징 학습이 SISR 성능 향상에 기여하는 방식을 논의한다.
• 감성 품질 향상의 맥락에서 생성적 적대적 네트워크(GAN)의 역할을 분석한다. 예를 들어 CinCGAN과 같은 GAN 기반 방법.
• 최근 SISR 프레임워크에서 웨이블릿 기반 표현과 피드백 메커니즘의 영향을 검토한다.

실험 결과

연구 질문

• RQ1 지난 10년간 딥러닝 기반 단일 이미지 초해상도 분야에서의 주요 발전은 무엇인가?
• RQ2 지도학습 기반, 비지도학습 기반, 도메인 특화 SISR 방법은 아키텍처와 성능 측면에서 어떻게 다를까?
• RQ3 표준 벤치마크에서 최고의 성능을 내는 딥러닝 아키텍처는 무엇이며, 그 핵심 혁신 요소는 무엇인가?
• RQ4 현재 SISR 연구에서 일반화 능력과 실세계 적용 가능성 측면에서의 제한점과 열린 도전 과제는 무엇인가?
• RQ5 다양한 이미지 품질 메트릭과 데이터셋은 SISR 모델의 평가 및 비교에 어떻게 영향을 미치는가?

주요 결과

• EDSR, RBPN, SRFBN은 DIV2K와 Set5와 같은 표준 벤치마크에서 높은 PSNR 및 SSIM 점수를 기록하여 잔차 학습과 피드백 메커니즘의 효과를 입증한다.
• 주목적 메커니즘을 통합한 모델들, 예를 들어 SAN과 Meta-RDN은 다양한 척도에서 관련 특징에 집중함으로써 성능 향상을 보였다.
• CinCGAN과 같은 GAN 기반 방법들은 감성 품질 향상을 높였지만 PSNR는 저하될 수 있어 감성적 품질과 객관적 메트릭 사이의 상충 관계를 드러낸다.
• 웨이블릿 기반 네트워크인 WRAN은 주파수 도메인의 다중 해상도 표현을 활용함으로써 재구성 정밀도를 향상시켰다.
• 이 서베이에서는 실세계 적용을 위한 경량화되고 효율적인 아키텍처 및 도메인 특화 적응의 증가 추세를 규명한다.
• 진전이 있었음에도 불구하고, 다양한 이미지 도메인 간 일반화 능력 향상, 노이즈에 대한 강건성 향상, 메트릭 간 일관성 있는 성능 달성 등의 과제가 남아 있다.