[논문 리뷰] A Dynamic Kernel Prior Model for Unsupervised Blind Image Super-Resolution

Zhixiong Yang, Jingyuan Xia외 6명|arXiv (Cornell University)|2024. 04. 24.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 마르코프 체인 몬테카를로(MCMC) 샘플링과 네트워크 기반 랭제비안 역학을 통해 사전 훈련이 필요 없고 플러그-앤플레이(Plug-and-Play) 방식의 커널 추정을 가능하게 하는 동적 커널 사전(DKP) 모델을 제안한다. DKP는 적응형 커널 사전를 학습하여 고전적이고 운동 블러 상황에서 모두 최신 기술 수준의 성능을 달성하며, 기존 방법보다 뛰어나면서도 유사한 런타임과 메모리 사용량을 유지한다.

ABSTRACT

Deep learning-based methods have achieved significant successes on solving the blind super-resolution (BSR) problem. However, most of them request supervised pre-training on labelled datasets. This paper proposes an unsupervised kernel estimation model, named dynamic kernel prior (DKP), to realize an unsupervised and pre-training-free learning-based algorithm for solving the BSR problem. DKP can adaptively learn dynamic kernel priors to realize real-time kernel estimation, and thereby enables superior HR image restoration performances. This is achieved by a Markov chain Monte Carlo sampling process on random kernel distributions. The learned kernel prior is then assigned to optimize a blur kernel estimation network, which entails a network-based Langevin dynamic optimization strategy. These two techniques ensure the accuracy of the kernel estimation. DKP can be easily used to replace the kernel estimation models in the existing methods, such as Double-DIP and FKP-DIP, or be added to the off-the-shelf image restoration model, such as diffusion model. In this paper, we incorporate our DKP model with DIP and diffusion model, referring to DIP-DKP and Diff-DKP, for validations. Extensive simulations on Gaussian and motion kernel scenarios demonstrate that the proposed DKP model can significantly improve the kernel estimation with comparable runtime and memory usage, leading to state-of-the-art BSR results. The code is available at https://github.com/XYLGroup/DKP.

연구 동기 및 목표

• 쌍체의 저해상도-고해상도(LR-HR) 데이터셋이 필요한 고비용의 쌍체 데이터에 의존하는 지도 학습 기반 블라인드 슈퍼레졸루션(BSR) 방법의 한계를 해결하기 위해.
• 라벨이 없는 데이터에 대한 훈련이 필요 없는 비지도, 플러그-앤플레이 커널 추정 프레임워크를 개발하기 위해.
• 비정규화된, 비凸(non-convex)인 BSR 문제에서 적응형이고 데이터 기반의 사전을 사용하여 커널 추정 정확도를 향상시키기 위해.
• 기존 이미지 복원 모델(예: DIP 및 확산 모델)의 아키텍처를 변경하지 않고도 호환 가능하게 하기 위해.
• 지상 진실 고해상도(HR) 이미지에 의존하지 않고도 고전적 블러 및 운동 블러 상황 모두에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• DKP 모델은 랜덤 커널 샘플링(RKS) 모듈과 사전 커널 추정(PKE) 모듈의 두 가지 모듈로 구성된다.
• RKS 모듈은 무작위 커널 분포에 대한 MCMC 샘플링을 통해 비지도 방식으로 합리적이고 적응형 커널 사전를 생성한다.
• PKE 모듈은 RKS가 생성한 사전와 저해상도 이미지 복원 오차에서 유도된 데이터 일관성 데이터를 활용하여 랭제비안 역학(NLD) 최적화 전략을 적용해 블러 커널을 추정한다.
• NLD 업데이트 방식은 사전 지식와 관측된 데이터 사이의 균형을 유지함으로써 정확한 커널 추정으로 수렴하도록 보장한다.
• DKP는 DIP 및 확산 모델과 같은 기존 복원 모델에 플러그-앤플레이 방식으로 통합되어, 커널 모델링 구성 요소를 대체하거나 보강한다.
• 전체 시스템은 사전 훈련 없이도 순차 최적화 방식으로 종단 간(end-to-end)으로 훈련되며, 고해상도 이미지 복원과 커널 추정을 동시에 개선한다.

실험 결과

연구 질문

• RQ1 쌍체의 LR-HR 훈련 데이터에 의존하지 않고도 비지도 방식으로 효과적으로 커널 사전를 학습할 수 있는가?
• RQ2 무작위 커널 분포에 대한 MCMC 샘플링이 합리적이고 적응형 사전를 생성하여 블라인드 슈퍼레졸루션에서 커널 추정 성능을 향상시킬 수 있는가?
• RQ3 NLD 최적화를 통한 동적 커널 사전 통합이 고전적 블러 및 운동 블러 상황 모두에서 이미지 복원 성능을 향상시키는가?
• RQ4 기존 사전 훈련 또는 지도 학습 기반 BSR 방법과 비교하여 DKP의 성능, 런타임, 메모리 사용량은 어떠한가?
• RQ5 DIP 및 확산 모델과 같은 표준 복원 모델에 아키텍처 수정 없이 원활하게 통합될 수 있는가?

주요 결과

• DKP 모델은 운동 블러 상황에서 커널 PSNR 56.76, 고전적 블러 상황에서 56.20을 기록하여 기존 비지도 방법보다 뚜렷이 뛰어난 성능을 보였다.
• DIP-DKP 구성에서 이미지 PSNR 25.98과 SSIM 0.6878을 달성하여 더블 듀얼-DIP(Double-DIP) 및 DIP-FKP를 모두 초월하는 성능을 보였다.
• Diff-DKP 변종은 운동 블러 데이터에서 최신 기술 수준의 이미지 PSNR 26.76과 SSIM 0.7400을 기록하여 뛰어난 복원 품질을 입증했다.
• 절단 실험 결과, RKS 모듈을 제거할 경우 커널 추정 정확도가 급격히 떨어지며(예: 커널 PSNR가 56.76에서 34.78로 감소), 이는 RKS 모듈이 핵심적인 역할을 한다는 것을 입증한다.
• DKP 모델은 중간 수준의 계산 비용을 유지한다: 512×512 이미지 복원에 RTX 3090에서 약 92초와 11GB 메모리가 소요되며, Double-DIP 및 DIP-FKP와 유사한 성능을 보였다.
• PKE 모듈은 네트워크 깊이(3–7층)와 너비(100–1000 유닛)에 관계없이 우수한 일반화 성능를 보이며, 아키텍처 설계에 대해 낮은 민감도를 보였다.