[논문 리뷰] Flow-based Kernel Prior with Application to Blind Super-Resolution

Jingyun Liang, Kai Zhang외 3명|arXiv (Cornell University)|2021. 03. 29.

Advanced Image Processing Techniques참고 문헌 51인용 수 9

한 줄 요약

이 논문은 정규화 흐름을 사용하여 이방향 가우시안 잠재 변수와 복잡한 커널 분포 간의 가역 매핑을 학습하는 플로우 기반 커널 사전(FKP)을 제안한다. 잠재 공간에서 최적화하고 FKP 파라미터를 동결함으로써, 더 적은 파라미터로 안정적이고 정확한 커널 추정이 가능해지며, 블라인드 슈퍼레졸루션에서 이전 방법들인 Double-DIP 및 KernelGAN을 능가하는 성능을 보인다.

ABSTRACT

Kernel estimation is generally one of the key problems for blind image super-resolution (SR). Recently, Double-DIP proposes to model the kernel via a network architecture prior, while KernelGAN employs the deep linear network and several regularization losses to constrain the kernel space. However, they fail to fully exploit the general SR kernel assumption that anisotropic Gaussian kernels are sufficient for image SR. To address this issue, this paper proposes a normalizing flow-based kernel prior (FKP) for kernel modeling. By learning an invertible mapping between the anisotropic Gaussian kernel distribution and a tractable latent distribution, FKP can be easily used to replace the kernel modeling modules of Double-DIP and KernelGAN. Specifically, FKP optimizes the kernel in the latent space rather than the network parameter space, which allows it to generate reasonable kernel initialization, traverse the learned kernel manifold and improve the optimization stability. Extensive experiments on synthetic and real-world images demonstrate that the proposed FKP can significantly improve the kernel estimation accuracy with less parameters, runtime and memory usage, leading to state-of-the-art blind SR results.

연구 동기 및 목표

• 블라인드 이미지 슈퍼레졸루션에서 정확도가 떨어지고 불안정한 블러 커널 추정 문제를 해결하기 위해.
• 실제 환경의 슈퍼레졸루션에 있어 이방향 가우시안 커널이 충분하다는 알려진 사전 지식을 활용하여, 기존 딥러닝 기반 사전 지식보다 더 효과적으로 이를 모델링하기 위해.
• 유사한 잠재 공간에서 커널 공간으로의 이항 매핑을 학습함으로써 안정적인 최적화를 가능하게 하는 커널 사전을 개발하기 위해.
• 커널 추정 정확도를 훼손하지 않고도 모델 복잡도를 줄이고 효율성을 향상시키기 위해.

제안 방법

• FKP는 배치 정규화, 순열, 애핀 커파링 레이어로 구성된 정규화 흐름을 사용하여, 잠재 가우시안 분포에서 블러 커널 분포로의 가역 변환을 학습한다.
• 모델은 관측된 커널의 음의 로그우도를 최소화함으로써 비지도 학습 방식으로 훈련되며, 지도 학습 없이도 복잡한 커널 분포를 포괄할 수 있다.
• 추론 과정에서는 FKP의 파라미터가 고정되고 오직 잠재 변수만 최적화되므로, 생성된 모든 커널이 학습된 커널 다양체 내부에 위치하게 된다.
• 이 방법은 Double-DIP 및 KernelGAN의 커널 모델링 구성 요소를 대체함으로써, 공동 HR 이미지 및 커널 최적화 또는 개선된 안정성을 가진 GAN 기반 학습을 가능하게 한다.
• 이중성 특성 덕분에 FKP는 무작위 초기화 문제를 피할 수 있으며, 의미 있고 현실적인 커널로 초기화할 수 있다.
• 이 방법은 플러그 앤 플레이 방식이며, 아키텍처 변경 없이 기존의 블라인드 SR 프레임워크인 Double-DIP 및 KernelGAN에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 정규화 흐름 기반 커널 사전은 기존의 딥러닝 기반 이미지 사전 또는 GAN 기반 방법에 비해 블라인드 슈퍼레졸루션에서 블러 커널 추정의 정확도와 안정성 향상에 기여하는가?
• RQ2 잠재 공간에서 커널 공간으로의 이항 매핑을 학습함으로써 더 나은 커널 초기화와 최적화 수렴이 이루어지는가?
• RQ3 FKP는 커널 추정 성능을 유지하거나 향상시키면서 모델 복잡도(파라미터, 메모리, 런타임)를 어느 정도 줄일 수 있는가?
• RQ4 비가우시안 커널과 노이즈가 존재하는 조건에서 FKP는 기존 방법에 비해 어떻게 성능을 발휘하는가?
• RQ5 FKP는 Double-DIP 및 KernelGAN과 같은 다양한 블라인드 SR 프레임워크에 효과적으로 통합되어 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• FKP는 최신 기술 수준의 블라인드 슈퍼레졸루션 성능을 달성하였으며, 스케일 팩터 4에서 KernelGAN-FKP는 KernelGAN 대비 이미지 PSNR를 1.77dB 향상시키고 커널 PSNR를 3.35dB 향상시켰다.
• FKP 모델은 단지 143K개의 파라미터만을 사용하여 Double-DIP(641K)와 KernelGAN(151K)보다 훨씬 적은 파라미터를 사용함으로써 메모리 사용량과 런타임을 줄였다.
• FKP는 더 안정적인 최적화를 가능하게 하였으며, 중간 결과에서는 커널GAN의 불안정한 학습 동역학과는 달리 진동 없이 매끄럽게 수렴하는 경향을 보였다.
• 비가우시안 커널과 노이즈가 존재하는 실제 이미지에 대해서도 KernelGAN-FKP는 뚜렷한 여유로움을 유지하며 베이스라인을 압도적으로 능가하는 성능을 보였다.
• 합성 및 실제 세계 데이터셋 모두에서 커널 추정 정확도가 향상되어 더 선명하고 현실적인 HR 이미지 복원이 가능해졌다.
• FKP 파라미터를 고정하고 오직 잠재 변수만 최적화함으로써 생성된 모든 커널이 유효하고 학습된 다양체 내부에 위치하게 되어 초기화 및 최적화 안정성이 향상되었다.