[논문 리뷰] Learning to Zoom-in via Learning to Zoom-out: Real-world Super-resolution by Generating and Adapting Degradation

Dong Gong, Wei Sun외 3명|arXiv (Cornell University)|2020. 01. 08.

Advanced Image Processing Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 쌍화된 저해상도-고해상도 이미지 쌍이 필요 없이, 고해상도 이미지에서 실제적인 저해상도 이미지를 합성하는 열화 생성 네트워크를 훈련시켜 실제 저해상도 이미지와의 도메인 갭을 최소화함으로써, 실세계 초해상도를 위한 새로운 비쌍화 방법을 제안한다. 이 방법은 실세계 데이터셋에서 최신 기술 성능을 달성하며, 쌍화된 데이터로 훈련된 방법들보다도 뛰어난 성능을 보인다.

ABSTRACT

Most learning-based super-resolution (SR) methods aim to recover high-resolution (HR) image from a given low-resolution (LR) image via learning on LR-HR image pairs. The SR methods learned on synthetic data do not perform well in real-world, due to the domain gap between the artificially synthesized and real LR images. Some efforts are thus taken to capture real-world image pairs. The captured LR-HR image pairs usually suffer from unavoidable misalignment, which hampers the performance of end-to-end learning, however. Here, focusing on the real-world SR, we ask a different question: since misalignment is unavoidable, can we propose a method that does not need LR-HR image pairing and alignment at all and utilize real images as they are? Hence we propose a framework to learn SR from an arbitrary set of unpaired LR and HR images and see how far a step can go in such a realistic and "unsupervised" setting. To do so, we firstly train a degradation generation network to generate realistic LR images and, more importantly, to capture their distribution (i.e., learning to zoom out). Instead of assuming the domain gap has been eliminated, we minimize the discrepancy between the generated data and real data while learning a degradation adaptive SR network (i.e., learning to zoom in). The proposed unpaired method achieves state-of-the-art SR results on real-world images, even in the datasets that favor the paired-learning methods more.

연구 동기 및 목표

• 초해상도에서의 합성과 실세계 저해상도 이미지 간의 도메인 갭을 해결하기 위해.
• 실세계 초해상도에서 쌍화된 정렬된 저해상도-고해상도 이미지 데이터가 필요 없도록 하기 위해.
• 오직 비쌍화된 저해상도 및 고해상도 이미지 세트만을 사용하여 실세계 이미지를 초해상도로 복원하는 방법을 개발하기 위해.
• 대부분의 적대적 및 사이클 일致성 훈련을 통해 생성된 저해상도 이미지와 실제 저해상도 이미지 간의 차이를 최소화하기 위해.
• 실제 및 생성된 데이터 분포 간의 네트워크 반응을 정렬하여 내성적 강건성과 일반화 능력을 향상시키기 위해.

제안 방법

• 사이클-GAN 기반의 열화 생성 네트워크를 훈련시켜 고해상도 이미지에서 실제적인 저해상도 이미지를 합성함으로써, 실세계 열화 과정을 모방한다.
• 이 네트워크는 쌍화된 지도 훈련이 필요 없이, 실제 저해상도 이미지의 분포를 학습하기 위해 적대적 손실과 사이클 일치 손실을 사용한다.
• 실제 및 생성된 저해상도 이미지 간의 특징 수준 도메인 불일치를 최소화함으로써 열화 적응형 초해상도 네트워크를 훈련시킨다.
• 실제 및 생성된 저해상도 입력에 대해 초해상도 네트워크의 중간 및 출력 특징을 정렬함으로써 특징 수준의 정렬을 달성한다.
• 이 방법은 쌍화된 이미지나 사전 정렬에 의존하지 않는 비지도, 비쌍화 설정에서 작동한다.
• 강건성 테스트를 위해 표준 및 겹치지 않는 학습 설정 모두에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 쌍화되거나 정렬된 저해상도-고해상도 이미지 데이터가 없이도 실세계 초해상도를 효과적으로 학습할 수 있는가?
• RQ2 열화 생성 네트워크가 실세계 저해상도 이미지의 복잡한 분포를 정확히 모델링할 수 있는가?
• RQ3 특징 수준에서 도메인 갭을 최소화하면 실세계 이미지에 대한 초해상도 성능이 향상되는가?
• RQ4 제안된 비쌍화 방법은 실세계 데이터셋에서 쌍화된 및 잘못 정렬된 훈련 기반 모델과 비교해 어떻게 성능을 냈는가?
• RQ5 겹치는 콘텐츠가 없는 저해상도 및 고해상도 세트에서도 이 방법이 다양한 실세계 열화 패턴에 일반화되는가?

주요 결과

• 제안된 방법은 실세계 초해상도 벤치마크에서 최신 기술 성능을 달성하며, RCAN-Real 및 ESRGAN-Bic 등 쌍화된 데이터로 훈련된 모델들을 초월한다.
• 시각적 비교 결과, 이 방법은 특히 텍스트나 미세 무늬와 같은 복잡한 영역에서 더 선명한 질감과 더 적은 잡음과 기하학적 왜곡을 생성한다.
• 열화 생성 네트워크는 실제 실세계 저해상도 이미지의 분포와 유사한 특성을 잘 포착하여 실제와 유사한 분포의 저해상도 이미지를 생성한다.
• 저해상도 및 고해상도 이미지 간에 공통 콘텐츠가 전혀 없는 겹치지 않는 학습 설정에서도 성능이 유지되며, 이는 강건성을 입증한다.
• RealSR, SR-RGB, City100 데이터셋에서의 정량적 결과는 기존의 비쌍화 방법들인 CinCGAN에 비해 PSNR 및 SSIM 측정치에서 일관된 향상을 보여준다.
• 합성 이분법적 열화로 훈련된 기반 모델 대비 블러와 구조적 잡음이 감소하여, 실세계 데이터에 대한 일반화 능력이 향상됨을 시사한다.