[논문 리뷰] Deep Learning for Image Super-resolution: A Survey

Zhihao Wang, Jian Chen외 1명|arXiv (Cornell University)|2019. 02. 16.

Advanced Image Processing Techniques참고 문헌 212인용 수 74

한 줄 요약

이 설문 조사는 이미지 초해상도에 대한 딥 러닝 접근법을 감독(supervised), 비감독(unsupervised), 도메인 특이 주제로 분류하고 데이터셋, 지표, 아키텍처, 업샘플링 기법 및 향후 방향을 논의한다.

ABSTRACT

Image Super-Resolution (SR) is an important class of image processing techniques to enhance the resolution of images and videos in computer vision. Recent years have witnessed remarkable progress of image super-resolution using deep learning techniques. This article aims to provide a comprehensive survey on recent advances of image super-resolution using deep learning approaches. In general, we can roughly group the existing studies of SR techniques into three major categories: supervised SR, unsupervised SR, and domain-specific SR. In addition, we also cover some other important issues, such as publicly available benchmark datasets and performance evaluation metrics. Finally, we conclude this survey by highlighting several future directions and open issues which should be further addressed by the community in the future.

연구 동기 및 목표

• 딥 러닝 기반 이미지 초해상도(SR) 기법에 대한 포괄적 개요를 제공합니다.
• 문제 설정, 데이터셋, 성능 지표 및 적용 도메인별로 SR 방법을 정리합니다.
• 감독형 SR 모델의 핵심 구성요소를 분석하고 장점과 한계를 요약합니다.
• DL 기반 SR에서의 개방 이슈, 도전 과제 및 향후 연구 방향을 강조합니다.

제안 방법

• SR 접근법을 감독, 비감독 및 도메인 특이 카테고리로 분류합니다.
• SR에서 사용되는 문제 설정, 열화 모델, 손실 함수들을 검토합니다.
• 감독형 SR을 체계적으로 모듈화된 구성 요소로 분해합니다: 프레임워크, 업샘플링 방법, 네트워크 설계 및 학습 전략.
• SR의 벤치마크 데이터셋과 평가 지표를 논의합니다.
• 도메인 특화 SR 응용과 공개 도전과제(NTIRE, PIRM)를 요약합니다.

실험 결과

연구 질문

• RQ1 딥 러닝을 이용한 이미지 SR에서 주요 문제 정의와 열화 모델은 무엇인가?
• RQ2 SR 벤치마킹을 주도하는 데이터셋과 평가 지표는 무엇이며, 이것이 보고된 성능에 어떤 영향을 미치는가?
• RQ3 효과적인 감독 DL-SR 모델을 구성하는 모듈식 구성 요소는 무엇이며, 이들의 트레이드오프는 무엇인가?
• RQ4 주요 비감독 및 도메인 특화 SR 접근법은 무엇이며, 감독 방식과 어떻게 다르는가?
• RQ5 DL 기반 SR 커뮤니티에서 가장 시급한 향후 방향과 개방 이슈는 무엇인가?

주요 결과

• DL 기반 SR 방법은 다양한 아키텍처, 손실 함수 및 학습 전략을 결합하여 벤치마크에서 최첨단 성능을 달성한다.
• SR 프레임워크의 네 가지 주요 계열이 존재합니다(사전 업샘플링, 사후 업샘플링, 점진적 업샘플링, 반복적 상하 샘플링), 각기 고유한 이점과 트레이드오프가 있습니다.
• 학습 가능한 업샘플링 레이어(전치 합성곱, 서브픽셀/셔플, 메타 업스케일)가 현재 지배적이며, 특히 사후 업샘플링 프레임워크에서 두드러진다.
• 잔차 학습, 재귀 학습, 주의 집중(attention), 밀집 연결 및 다경로 설계가 SR 모델에서 효과적인 네트워크 설계 전략이다.
• 벤치마크 데이터셋과 IQA 지표(PSNR, SSIM, MOS, NIQE, LPIPS)가 SR 품질 평가에 영향을 주며, 지각 기반 대 왜곡 기반 측정 간의 지속적인 논쟁이 있다.
• 공개 SR 챌린지(NTIRE, PIRM)가 현실적 열화와 지각-왜곡 간의 트레이드오프를 향해 연구를 이끈다.