[논문 리뷰] SRDGAN: learning the noise prior for Super Resolution with Dual Generative Adversarial Networks

Jingwei Guan, Cheng Pan외 2명|arXiv (Cornell University)|2019. 03. 28.

Advanced Image Processing Techniques참고 문헌 35인용 수 15

한 줄 요약

이 논문은 합성 훈련 데이터와 실제 모바일 저해상도 이미지 사이의 도메인 갭을 해결하기 위해 현실적인 노이즈 사전 지식을 학습하는 이중 GAN 프레임워크인 SRDGAN을 제안한다. 고해상도에서 저해상도로의 생성자(ΦH2L)를 도입하여 현실적인 저해상도 이미지를 합성하고, 새로운 대규모 데이터셋(GMSR)을 기반으로 훈련된 새로운 저해상도에서 고해상도로의 초해상도 네트워크를 설계하여, $I_{pair}$ 벤치마크에서 39.93 dB PSNR와 0.9782 SSIM를 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

Single Image Super Resolution (SISR) is the task of producing a high resolution (HR) image from a given low-resolution (LR) image. It is a well researched problem with extensive commercial applications such as digital camera, video compression, medical imaging and so on. Most super resolution works focus on the features learning architecture, which can recover the texture details as close as possible. However, these works suffer from the following challenges: (1) The low-resolution (LR) training images are artificially synthesized using HR images with bicubic downsampling, which have much richer-information than real demosaic-upscaled mobile images. The mismatch between training and inference mobile data heavily blocks the improvement of practical super resolution algorithms. (2) These methods cannot effectively handle the blind distortions during super resolution in practical applications. In this work, an end-to-end novel framework, including high-to-low network and low-to-high network, is proposed to solve the above problems with dual Generative Adversarial Networks (GAN). First, the above mismatch problems are well explored with the high-to-low network, where clear high-resolution image and the corresponding realistic low-resolution image pairs can be generated. Moreover, a large-scale General Mobile Super Resolution Dataset, GMSR, is proposed, which can be utilized for training or as a fair comparison benchmark for super resolution methods. Second, an effective low-to-high network (super resolution network) is proposed in the framework. Benefiting from the GMSR dataset and novel training strategies, the super resolution model can effectively handle detail recovery and denoising at the same time.

연구 동기 및 목표

• 합성 이분법적 내림샘플링 훈련 데이터와 실제 모바일 저해상도 이미지 사이의 도메인 갭을 해결하기 위해, 노이즈 및 열화 패턴이 다른 실제 모바일 이미지의 특성과 일치하는 노이즈 패턴을 학습한다.
• 기존의 SISR 방법들이 모바일 촬영 이미지에서 발생하는 노이즈 및 블러와 같은 실제 세계의 왜곡을 처리하지 못하는 한계를 극복한다.
• 실제 세계의 모바일 이미지에서 성능을 향상시키기 위해 현실적인 열화 사전 지식을 모델링함으로써 일반화 가능한 프레임워크를 개발한다.
• 실제 모바일 이미지 분포에서 초해상도 모델의 훈련과 평가를 위한 공정한 평가를 가능하게 하는 대규모이고 다양한 분포를 갖춘 벤치마크 데이터셋(GMSR)을 구축한다.
• 고해상도에서 저해상도로의 GAN을 사용해 현실적인 데이터 합성을 수행하고, 개선된 저해상도에서 고해상도로의 GAN을 사용해 초해상도 생성을 통합함으로써 세부 정보 복구 및 노이즈 제거를 향상시킨다.

제안 방법

• 고해상도 입력에서 실제 모바일 이미지 열화(노이즈 및 블러 포함)를 모방하는 현실적인 저해상도 이미지를 합성하기 위해 GAN을 사용하여 고해상도에서 저해상도로의 생성자(ΦH2L)를 훈련한다.
• 훈련 중에 이분법적 보간 대신 최근접 이웃 내림샘플링을 사용하여 실제 모바일 이미지의 열화 특성과 더 잘 일치시킨다.
• ΦH2L를 사용하여 쌍체의 고해상도-저해상도 이미지 세트를 생성함으로써 다양한 노이즈 수준, 질감, 조명 조건 및 시점까지 포함하는 대규모 일반 모바일 초해상도(GMSR) 데이터셋을 구축한다.
• 세부 정보 복구와 노이즈 억제를 동시에 수행하기 위해 개선된 아키텍처와 훈련 전략을 갖춘 새로운 저해상도에서 고해상도로의 초해상도 네트워크(ΦL2H)를 설계한다.
• 이중 GAN을 사용하여 양쪽 네트워크를 엔드 투 엔드로 최적화하며, 현실감 있는 품질과 인지적 품질 향상을 위해 적대적 손실을 적용한다.
• 재구성된 고해상도 이미지의 구조적 및 질감 정밀도를 향상시키기 위해 인지적 손실 및 인지 스타일 손실을 적용한다.

실험 결과

연구 질문

• RQ1 고해상도에서 저해상도로의 GAN이 실제 모바일 촬영 이미지의 열화 패턴을 효과적으로 학습하고 현실적인 저해상도 이미지를 합성할 수 있는가?
• RQ2 실제 세계의 모바일 이미지에서 성능을 향상시키기 위해, GMSR와 같은 현실적인 합성 저해상도 데이터셋을 사용하여 훈련한 초해상도 모델이 기존 표준 합성 데이터셋 대비 성능 향상이 이루어지는가?
• RQ3 훈련 중에 이분법적 내림샘플링 대신 최근접 이웃 내림샘플링을 사용할 경우, 실제 세계의 왜곡을 다루는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ4 새로운 훈련 전략을 적용한 개선된 저해상도에서 고해상도로의 GAN 아키텍처가 기존 최신 기술 수준의 방법보다 실제 모바일 이미지에서 더 나은 세부 정보 복구 및 노이즈 억제 성능을 달성할 수 있는가?
• RQ5 제안된 이중 GAN 프레임워크가 ESRGAN 및 기타 기준 모델 대비 실제 모바일 이미지 초해상도에서 일반화 능력과 시각적 품질 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 $I_{pair}$ 모바일 이미지 벤치마크에서 39.93 dB PSNR와 0.9782 SSIM를 기록하여 ESRGAN을 1.38 dB 이상 초월하는 PSNR와 0.021 초월하는 SSIM 성능을 달성한다.
• 모델은 실제로 모바일 이미지에서 노이즈를 크게 줄이고 세부 정보를 향상시켜, 빨간색 및 파란색 패치에서 더 선명한 질감과 낮은 노이즈 수준을 보여주는 비교 분석을 통해 시각적으로 확인되었다.
• GMSR 데이터셋과 최근접 이웃 내림샘플링을 사용한 훈련은 일반 데이터셋(Set14)과 모바일 전용 데이터 모두에서 성능 향상을 이끌어내어 도메인 간 일반화 능력을 입증한다.
• ESRGAN*는 새로운 데이터셋과 내림샘플링 방법으로 재훈련되었을 때 원래 ESRGAN을 초월하여 성능 향상을 보였으며, 이는 새로운 훈련 데이터와 전략의 효과를 입증한다.
• H2L 네트워크는 실제 모바일 이미지와 유사한 노이즈 분포와 시각적 특성을 갖춘 저해상도 이미지를 성공적으로 생성하여 실제 세계의 열화를 모델링할 수 있음을 검증한다.
• 전체 SRDGAN 프레임워크는 모든 데이터셋에서 최고의 SSIM 점수를 기록하여 대trast, 밝기 및 구조적 세부 정보 복원 능력이 뛰어나다는 것을 나타낸다.