[논문 리뷰] Deep Constrained Least Squares for Blind Image Super-Resolution

Ziwei Luo, Haibin Huang외 4명|arXiv (Cornell University)|2022. 02. 15.

Advanced Image Processing Techniques인용 수 8

한 줄 요약

이 논문은 낮은 해상도 공간에서 블러 커널을 추정하기 위해 열악한 모델을 재구성하는 DCLS-SR이라는 새로운 블라인드 이미지 슈퍼레졸루션 방법을 제안한다. 이는 더 정확한 커널 추정과 공간적 커널 구조 유지에 기여한다. 동적 딥 라인어 커널(DDLK)을 도입하여 적응형 커널 생성을 구현하고, 추정된 커널을 사용해 특징 공간에서 적용되는 딥 제약 최소 제곱(DCLS) 디컨볼루션 모듈을 도입함으로써 DIV2KRK와 같은 벤치마크에서 최신 기술 수준의 성능을 달성하였다. 특히 PSNR 28.99 dB, SSIM 0.7964를 기록하였다.

ABSTRACT

In this paper, we tackle the problem of blind image super-resolution(SR) with a reformulated degradation model and two novel modules. Following the common practices of blind SR, our method proposes to improve both the kernel estimation as well as the kernel-based high-resolution image restoration. To be more specific, we first reformulate the degradation model such that the deblurring kernel estimation can be transferred into the low-resolution space. On top of this, we introduce a dynamic deep linear filter module. Instead of learning a fixed kernel for all images, it can adaptively generate deblurring kernel weights conditional on the input and yield a more robust kernel estimation. Subsequently, a deep constrained least square filtering module is applied to generate clean features based on the reformulation and estimated kernel. The deblurred feature and the low input image feature are then fed into a dual-path structured SR network and restore the final high-resolution result. To evaluate our method, we further conduct evaluations on several benchmarks, including Gaussian8 and DIV2KRK. Our experiments demonstrate that the proposed method achieves better accuracy and visual improvements against state-of-the-art methods.

연구 동기 및 목표

• 아날로그성과 부족 샘플링의 모호성으로 인해 블라인드 이미지 슈퍼레졸루션에서 블러 커널 추정이 정확하지 않은 문제를 해결한다.
• 공간적 관계를 파괴하는 커널 스트레칭 전략의 한계를 극복한다.
• 직접 깊은 특징에 작용하여 청소된 고해상도 이미지를 복원하는 원칙적인, 노이즈에 강건한 디컨볼루션 방법을 개발한다.
• 커널 추정을 이미지 업샘플링에서 분리함으로써 다양한 열악한 커널에서의 성능을 향상시킨다.
• 기존의 표준 벤치마크, 예를 들어 Gaussian8과 DIV2KRK에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 전통적인 열악한 모델을 재구성하여 블러 커널 추정을 낮은 해상도 공간으로 이동시킴으로써 아날로그성의 모호성을 제거한다.
• 입력 특징에 따라 조건부로 커널 가중치를 적응적으로 생성하는 동적 딥 라인어 커널(DDLK) 모듈을 도입하여 강건성과 학습 효율성을 향상시킨다.
• 추정된 커널을 사용해 채널별로 특징에서의 디블러링을 적용하는 딥 제약 최소 제곱(DCLS) 디컨볼루션 모듈을 제안하며, 공간적 커널 구조를 유지한다.
• RGB 공간이 아닌 특징 도메인에서 DCLS를 적용함으로써 커널 스트레칭을 방지하고 원칙적이고 노이즈에 강건한 복원을 가능하게 한다.
• 최종 고해상도 이미지 복원을 위해 이중 경로 구조 네트워크를 사용해 디블러링된 특징과 원본 저해상도 특징을 통합한다.
• 이중 경로 네트워크를 사용해 특징을 동시에 정밀하게 다듬고 최종 HR 이미지를 재구성함으로써, 디블러링된 특징과 원본 특징을 모두 활용한다.

Figure 1 : Kernel reformulation examples. The top row and middle row are the LR images and the corresponding primitive kernels. The bottom row is the reformulated kernels.

실험 결과

연구 질문

• RQ1 낮은 해상도 공간에서 블러 커널을 추정하기 위해 열악한 모델을 재구성함으로써 커널 추정 정확도를 향상시키고 모호성을 줄일 수 있는가?
• RQ2 고정 또는 학습된 커널과 비교해 동적 딥 라인어 커널 모듈이 더 민첩하고 정확한 커널 예측을 제공할 수 있는가?
• RQ3 특징 도메인에서 제约束 최소 제곱 디컨볼루션을 적용하면 기존의 전통적 디블러링 방법보다 우수한 성능을 내는가?
• RQ4 커널 스트레칭 없이도 공간적 커널 관계를 유지하면서 우수한 성능을 달성할 수 있는가?
• RQ5 알 수 없는 블러 커널과 참값이 없는 실세계 열악한 조건에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 DCLS-SR 방법은 DIV2KRK 벤치마크에서 PSNR 28.99 dB, SSIM 0.7964를 기록하여 최신 기술 수준의 방법들을 능가한다.
• 절단 분석 결과, DCLS 디컨볼루션 모듈이 베이스라인 대비 +0.15 dB의 PSNR 향상을 기록하여 그 효과를 입증한다.
• 특징 공간에서 DCLS 모듈을 적용한 결과(PSNR 28.99 dB)가 RGB 공간에서 적용한 결과(PSNR 28.94 dB)보다 더 우수하여 특징 수준 처리의 이점을 보여준다.
• 실제 역사적 이미지에 대한 시각적 비교 결과, DCLS-SR은 LapSRN과 DANv2보다 더 선명한 윤곽선과 더 시각적으로 매력적인 결과를 생성한다.
• 동적 딥 라인어 커널(DDLK)은 이전의 이미지 전용 방법인 KernelGAN과 Correction Filter보다 더 정확하고 민감한 커널 추정을 제공한다.
• 이 방법은 가우시안 블러부터 실세계 블러에 이르기까지 다양한 열악한 커널에서 강력한 성능 유지를 보이며, 강건성을 입증한다.

Figure 2 : Architecture of the dynamic deep linear kernel.