[논문 리뷰] Learning a Single Convolutional Super-Resolution Network for Multiple Degradations

Kai Zhang, Wangmeng Zuo외 1명|arXiv (Cornell University)|2017. 12. 17.

Advanced Image Processing Techniques참고 문헌 47인용 수 58

한 줄 요약

이 논문은 SRMD를 제안합니다. 단일 CNN으로 이미지 초해상도(SR)에서 다중 및 공간적으로 가변적인 열화를 처리하기 위해 차원 확장을 통해 입력으로 블러 커널과 노이즈 레벨 정보를 포함합니다. 합성 열화에서 학습하고 경쟁력 있는 결과를 달성하면서 빠르고 확장 가능합니다.

ABSTRACT

Recent years have witnessed the unprecedented success of deep convolutional neural networks (CNNs) in single image super-resolution (SISR). However, existing CNN-based SISR methods mostly assume that a low-resolution (LR) image is bicubicly downsampled from a high-resolution (HR) image, thus inevitably giving rise to poor performance when the true degradation does not follow this assumption. Moreover, they lack scalability in learning a single model to non-blindly deal with multiple degradations. To address these issues, we propose a general framework with dimensionality stretching strategy that enables a single convolutional super-resolution network to take two key factors of the SISR degradation process, i.e., blur kernel and noise level, as input. Consequently, the super-resolver can handle multiple and even spatially variant degradations, which significantly improves the practicability. Extensive experimental results on synthetic and real LR images show that the proposed convolutional super-resolution network not only can produce favorable results on multiple degradations but also is computationally efficient, providing a highly effective and scalable solution to practical SISR applications.

연구 동기 및 목표

• 단일 bicubic 열화에 대해 학습된 SISR 모델의 현실적인 한계를 극복하고, 하나의 모델이 다중 및 공간적으로 가변적인 열화를 처리하도록 한다.
• 블러 및 노이즈를 SR 중에 공동으로 고려하는 열화 인식 CNN 프레임워크를 도입한다.
• 합성 열화를 사용한 간단하고 확장 가능한 학습 전략을 개발하여 실세계 적용 가능성을 달성한다.
• SR를 위한 MAP 기반 해석에 대한 인사이트를 제공하고 설계 선택을 정당화한다

제안 방법

• 블러 커널과 노이즈 레벨을 인코딩하는 열화 맵을 결합하여 저해상도(LR) 이미지를 차원 확장 전략으로 연결하고 열화 인식 CNN을 채택한다.
• 블러 커널을 벡터화하고 PCA로 t차원 공간으로 투영한 뒤, 노이즈 레벨과 함께 W x H x (t+1) 크기의 열화 맵을 형성한다.
• 3x3 필터, ReLU, 및 배치 정규화를 갖춘 12레이어의 일반 CNN을 사용하고, 최종 서브-픽셀 컨볼루션 레이어로 고해상도(HR) 이미지를 생성한다.
• 스케일 인수 2, 3, 4에 대해 별도의 모델을 학습하고, SRMD를 미세 조정하여 얻은 노이즈 프리 변형 SRMDNF를 포함한다.
• 대규모 깨끗한 HR 이미지 세트에 등방성/비등방성 가우시안 블러, 바이큐브 다운샘플링, AWGN을 적용하여 학습 데이터를 합성한다.
• 데이터 적합성과 사전 정보를 공동으로 학습하도록 동기를 부여하기 위해 MAP에서 영감을 받은 시각으로 SR 문제를 형식화하고, 열화 입력을 통해 하나의 모델이 다중 열화를 처리하도록 한다.

실험 결과

연구 질문

• RQ1 하나의 모델이 SISR에서 다중 및 공간적으로 가변적인 열화를 효과적으로 처리할 수 있는가?
• RQ2 합성 데이터를 사용하여 실용적이고 열화 인식적인 SR 모델을 학습하고 실제 LR 이미지로 이전시키는 것이 가능한가?
• RQ3 블러 커널과 노이즈 레벨을 입력으로 포함시키는 것이 바이큐브 열화 기반 모델보다 SR 성능을 향상시키는가?
• RQ4 일반적이고 공간적으로 가변적인 열화 하에서 열화 인식 CNN은 모델 기반 최적화 및 다른 CNN 기반 SR 방법과 어떻게 비교되는가?

주요 결과

• SRMD는 표준 바이어스 큐브 벤치마크에서 경쟁력 있는 PSNR/SSIM을 달성하며, 스케일 2, 3 및 4에 대해 최신 CNN 기반 SR 방법과 거의 비슷하거나 이를 상회한다(예: SRMD vs VDSR: 스케일 2에서 비슷; 더 큰 스케일에서 SRMD 우수; SRMDNF가 여러 세트에서 최상의 PSNR/SSIM를 보임).
• SRMDNF(노이즈 프리)는 종종 최상의 전체 정량적 결과를 제공하며, 예를 들어 Set5에서 스케일 4일 때 SRMDNF는 PSNR 31.96/SSIM 0.893에 도달합니다(Table 1에서).
• 이 방법은 바이스로 일반적인 열화에 대해 강한 일반화 능력을 보이며, NCSR 및 IRCNN을 능가하고 블러 너비가 커질수록 cascaded DnCNN+SRMDNF의 PSNR 이득을 앞질렀습니다.
• 다양한 블러/노이즈 맵 하에서 회복된 에지와 질감을 보여주는 정성적 결과가 공간적으로 가변적인 열화에 대해 SRMD가 잘 작동함을 입증합니다.
• 이 접근법은 빠른 런타임으로 실용적인 성능을 제공합니다(예: SRMD는 스케일에 따라 0.027–0.084초 안에 1024x1024 이미지를 재구성).
• 실제 LR 이미지에 대한 실험은 SRMD가 VDSR 및 Waifu2x와 같은 경쟁 방법보다 시각적으로 더 설득력 있는 HR 결과와 더 나은 에지 보전을 제공함을 보여줍니다.