[논문 리뷰] Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks

Yuan Yuan, Siyuan Liu외 4명|arXiv (Cornell University)|2018. 09. 03.

Advanced Image Processing Techniques참고 문헌 27인용 수 40

한 줄 요약

CinCGAN을 소개하는 Cycle-in-Cycle GAN 프레임워크로, LR-HR 쌍과 열화 커널이 없을 때 비지도 단일 이미지 초해상도에서 감독 방법과 경쟁력 있는 결과를 달성한다.

ABSTRACT

We consider the single image super-resolution problem in a more general case that the low-/high-resolution pairs and the down-sampling process are unavailable. Different from traditional super-resolution formulation, the low-resolution input is further degraded by noises and blurring. This complicated setting makes supervised learning and accurate kernel estimation impossible. To solve this problem, we resort to unsupervised learning without paired data, inspired by the recent successful image-to-image translation applications. With generative adversarial networks (GAN) as the basic component, we propose a Cycle-in-Cycle network structure to tackle the problem within three steps. First, the noisy and blurry input is mapped to a noise-free low-resolution space. Then the intermediate image is up-sampled with a pre-trained deep model. Finally, we fine-tune the two modules in an end-to-end manner to get the high-resolution output. Experiments on NTIRE2018 datasets demonstrate that the proposed unsupervised method achieves comparable results as the state-of-the-art supervised models.

연구 동기 및 목표

• SR 작업에서 페어링된 LR-HR 데이터의 부족과 미지의 열화 문제를 해결한다.
• 이미지-투-이미지 번역에서 영감을 받은 비지도 학습 전략을 제안한다.
• 업샘플링 전에 LR에서 노이즈 제거/블러 제거를 수행하는 Cycle-in-Cycle 구조를 개발한다.
• 고품질 SR를 위해 결합된 LR-에서 HR 파이프라인을 엔드-투-엔드로 미세조정한다.

제안 방법

• 쌍 데이터 없이 LR를 깨끗한 LR로, 그 다음 HR로 매핑하기 위해 두 개의 커플링된 CycleGAN을 사용한다.
• 첫 번째 CycleGAN(LR to clean LR)은 사이클, 아이덴티티, TV 손실과 함께 노이즈 제거/디블러링을 포함한다.
• LR-to-clean-LR 모듈 뒤에 사전 학습된 SR 모델(EDSR)을 쌓아 업샘플링한다.
• 적대적 손실과 사이클 일관성 손실로 LR-to-clean-LR 경로와 LR-to-HR 경로를 공동으로 미세조정한다.
• HR 단계에 PatchGAN 판별기를 도입하고 SR 아이덴티티 손실을 도입해 SR 품질을 안정화한다.
• 비지도 손실로 학습한 뒤 NTIRE2018 트랙 2 데이터에서 엔드-투-엔드로 미세조정한다.

실험 결과

연구 질문

• RQ1 Cycle-in-Cycle GAN을 이용한 비지도 학습이 페어링된 데이터 없이도 경쟁력 있는 SR 성능을 달성할 수 있는가?
• RQ2 업샘플링 전에 LR에서 노이즈 제거/디블러링을 분해하는 것이 단일 단계 비지도 SR에 비해 안정성과 품질을 향상시키는가?
• RQ3 실제 열화 데이터셋에서 CinCGAN은 감독 SR 모델 및 노이즈 제거 후 SR 파이프라인과 어떻게 비교되는가?

주요 결과

• CinCGAN은 NTIRE2018 트랙 2 데이터에서 최첨단 감독 모델과 경쟁력 있는 PSNR/SSIM을 달성한다.
• 평균적으로 CinCGAN은 PSNR/SSIM 24.33/0.69를 달성해 SRGAN+와 유사하지만 PSNR 기준으로는 EDSR+(25.77/0.71)보다 낮다.
• 페어링되지 않은 상태에서 감독 SR 모델을 직접 적용하면 모르는 열화로 성능이 저하되는데, CinCGAN은 비지도 방식으로 LR-to-clean-LR 노이즈 제거를 통해 이를 완화한다.
• 구성요소인 열화 제거나 사이클 제약을 제거하면 SR 결과가 더 시끄럽고 불안정해진다는 차수실험은 CinCGAN 구조의 타당성을 확인한다.
• BM3D+EDSR은 먼저 노이즈 제거를 하지만 CinCGAN보다 효과가 덜하다고 나타나 공동 비지도 노이즈 제거 및 업샘플링이 유익하다는 것을 시사한다.