[논문 리뷰] Designing a Practical Degradation Model for Deep Blind Image Super-Resolution

Kai Zhang, Jingyun Liang외 2명|arXiv (Cornell University)|2021. 03. 25.

Infrared Target Detection Methodologies인용 수 41

한 줄 요약

본 논문은 무작위로 섞인 블러, 다운샘플링, 노이즈를 포함한 크고 현실적인 열화를 모델링하여 심층 블라인드 SISR 모델을 학습시키고 실제 세계의 열화에서의 성능을 향상시킨다. 고해상도 이미지로부터 생성된 합성 쌍 데이터(paired data)를 사용하여 BSRNet/BSRGAN을 학습한다.

ABSTRACT

It is widely acknowledged that single image super-resolution (SISR) methods would not perform well if the assumed degradation model deviates from those in real images. Although several degradation models take additional factors into consideration, such as blur, they are still not effective enough to cover the diverse degradations of real images. To address this issue, this paper proposes to design a more complex but practical degradation model that consists of randomly shuffled blur, downsampling and noise degradations. Specifically, the blur is approximated by two convolutions with isotropic and anisotropic Gaussian kernels; the downsampling is randomly chosen from nearest, bilinear and bicubic interpolations; the noise is synthesized by adding Gaussian noise with different noise levels, adopting JPEG compression with different quality factors, and generating processed camera sensor noise via reverse-forward camera image signal processing (ISP) pipeline model and RAW image noise model. To verify the effectiveness of the new degradation model, we have trained a deep blind ESRGAN super-resolver and then applied it to super-resolve both synthetic and real images with diverse degradations. The experimental results demonstrate that the new degradation model can help to significantly improve the practicability of deep super-resolvers, thus providing a powerful alternative solution for real SISR applications.

연구 동기 및 목표

• 비큐빅(bicubic)이나 단순한 전통 모델을 넘어 실제 이미지 열화를 더 잘 포착하는 열화 모델의 동기 부여 및 설계.
• 감독 학습용 블라인드 SISR 훈련을 위해 정렬 문제 없이 무한한 쌍의 LR-HR 데이터를 생성할 수 있도록 함.
• 제안된 열화 모델을 사용하여 심층 블라인드 SISR 네트워크(BSRNet/BSRGAN)를 학습하고 평가.
• 합성 및 실제 열화 이미지에서 블라인드 SR의 실용성 향상을 입증.

제안 방법

• 세 가지 핵심 요인(블러, 다운샘플링, 노이즈)을 포함하는 열화 모델을 제안하고 등방성 및 비등방성 가우시안 블러, 다중 다운샘플링 연산자, 다양한 노이즈 유형(가우시안, JPEG 압축, 처리된 카메라 센서 노이즈)을 확장.
• 열화 셔플 전략 도입: 열화 단계를 무작위 순서로 배열하여 열화 공간을 확장.
• HR 블러와 LR 블러를 두 개의 가우시안 컨볼루션으로 모델링하고; 네 가지 다운샘플링 옵션(nearest, bilinear, bicubic, down-up)을 적용; AWGN, JPEG 노이즈, 처리된 RAW/ISP 기반 노이즈로 노이즈를 합성한다.
• 커널 크기, 블러 폭, 회전 각도, 다운샘플링 스케일의 임의 샘플링을 사용하여 다양한 LR 이미지를 생성.
• 두 차례의 JPEG 압축(품질 [30,95])을 적용하고 실제 세계의 아티팩트를 모방하기 위한 최종 JPEG 단계를 수행.
• 다수의 실제 카메라를 사용하여 ISP 풀을 형성하고 RAW 데이터에서 카메라 센서 노이즈를 합성하기 위해 역-전방 ISP 파이프라인을 활용.

실험 결과

연구 질문

• RQ1 다양한 기능적 측면을 갖춘 무작위로 섞인 열화 모델이 전통적 모델보다 실제 열화 공간을 더 잘 커버할 수 있는가?
• RQ2 제안된 열화 모델로 생성된 데이터로 블라인드 SR 모델을 학습하면 실제 열화 이미지의 성능이 향상되는가?
• RQ3 새로운 열화 모델로 학습된 블라인드 SR 네트워크가 합성 및 실제 데이터셋에서 기존 방법과 비교하여 어떻게 나타나는가?
• RQ4 제안된 열화 모델과 함께 BSRNet/BSRGAN을 사용하는 질적 및 정량적 이점은 무엇인가?

주요 결과

• 제안된 열화 모델은 두 개의 블러 컨볼루션, 다중 다운샘플링 방법, 다양한 노이즈 유형을 결합하여 열화 공간을 비큐빅/전통적 형태를 넘어 확장한다.
• 무작위 열화 셔플은 모델이 다양한 실제 세계의 열화를 커버하도록 하고, 여러 기존 열화 체계를 특별한 경우로 포함시킨다.
• BSRNet은 합성 DIV2K4D 데이터에서 전체 PSNR 면에서 최상위를 달성하고, BSRGAN은 테스트된 열화들에서 인지적(perceptual, LPIPS) 결과가 가장 우수하다.
• RealSRSet의 실제 이미지에서 BSRNet은 비참조 IQA 성능이 더 강하고 비교 후보보다 시각적으로 더 깔끔한 결과를 제공한다.
• 이 연구는 실용적 SISR 응용에서 정확한 열화 모델링의 중요성을 강조하고, 큰 용량의 네트워크가 다양한 열화에 걸쳐 일반화할 수 있음을 보여준다.