[논문 리뷰] Blind Super-Resolution Kernel Estimation using an Internal-GAN

Sefi Bell-Kligler, Assaf Shocher외 1명|arXiv (Cornell University)|2019. 09. 14.

Advanced Image Processing Techniques인용 수 215

한 줄 요약

KernelGAN은 단일 LR 이미지에서 이미지-특정 내부 GAN을 학습하여 진짜 SR 커널을 추정하고, 커널을 기존 SR 방법에 적용함으로써 진정한 Blind-SR을 가능하게 합니다. 외부 데이터 없이 실제 및 비이상적 LR 이미지에서 최첨단 성능을 달성합니다.

ABSTRACT

Super resolution (SR) methods typically assume that the low-resolution (LR) image was downscaled from the unknown high-resolution (HR) image by a fixed 'ideal' downscaling kernel (e.g. Bicubic downscaling). However, this is rarely the case in real LR images, in contrast to synthetically generated SR datasets. When the assumed downscaling kernel deviates from the true one, the performance of SR methods significantly deteriorates. This gave rise to Blind-SR - namely, SR when the downscaling kernel ("SR-kernel") is unknown. It was further shown that the true SR-kernel is the one that maximizes the recurrence of patches across scales of the LR image. In this paper we show how this powerful cross-scale recurrence property can be realized using Deep Internal Learning. We introduce "KernelGAN", an image-specific Internal-GAN, which trains solely on the LR test image at test time, and learns its internal distribution of patches. Its Generator is trained to produce a downscaled version of the LR test image, such that its Discriminator cannot distinguish between the patch distribution of the downscaled image, and the patch distribution of the original LR image. The Generator, once trained, constitutes the downscaling operation with the correct image-specific SR-kernel. KernelGAN is fully unsupervised, requires no training data other than the input image itself, and leads to state-of-the-art results in Blind-SR when plugged into existing SR algorithms.

연구 동기 및 목표

• SR 커널이 알려지지 않거나 비-이상적일 수 있는 실제 Blind-SR의 필요성에 대한 동기 부여.
• 크로스 스케일 패치 재발견을 활용한 비감독적, 이미지-특정 커널 추정 방법 제안.
• 추정된 SR 커널이 기존 SR 알고리즘과 결합될 때 SR 성능이 향상된다는 점을 입증.

제안 방법

• KernelGAN 소개: LR 이미지의 crop에서 학습되는 심층 선형 생성기와 패치 기반 판별기로 구성된 이미지-특정 Internal-GAN.
• 생성기는 다운스케일링 작용을 학습하여 다운스케일된 이미지의 패치 분포가 원래 LR 이미지의 패치 분포와 구별되지 않도록 만듭니다.
• 생성기의 층을 컨볼루션하여 SR-커널을 명시적으로 추출하고 커널 특성(합이 1, 중심성, 희소성)을 강제하는 미분가능한 정규화를 적용합니다.
• 해석 가능성과 최적화 안정성을 유지하면서 SR-커널에 맞추기 위해 딥 선형 생성기(5层)를 사용합니다.
• 다중 축척에 대해 SR-커널을 도출합니다(예: k2, k2에서 해석적으로 k4를 얻음) 이러한 다중 스케일 Blind-SR를 가능하게 합니다.
• ADAM으로 약 3,000 iterations 동안 GAN을 훈련하고, 목표 패치 분포를 가이드하기 위해 패치 기반 D-map에 의존합니다.
• 학습된 SR-커널을 비블라인 SR 알고리즘에 삽입하여 커널 추정 정확도와 SR 성능을 평가합니다.

실험 결과

연구 질문

• RQ1 단일 LR 이미지로부터 true SR-커널을 추정하기 위해 이미지-특정, 비감독적 GAN을 사용할 수 있는가?
• RQ2 이미지-특정 SR-커널을 기존 SR 방법에 적용하면 실제/비-이상 데이터에서 최첨단 Blind-SR 성능을 얻을 수 있는가?
• RQ3 딥 선형 생성기가 이미지-특정 SR-커널의 안정적인 수렴에 single-layer 생성기보다 바람직한가?
• RQ4 KernelGAN의 한 실행으로 다른 스케일의 커널을 얼마나 잘 도출할 수 있는가?
• RQ5 KernelGAN으로 추정된 커널과 이전 커널 추정 방법과 비교했을 때 PSNR/SSIM에서의 정량적 이득은 얼마나 되는가?

주요 결과

Method	×2 PSNR/SSIM	×4 PSNR/SSIM
Bicubic Interpolation	28.731 / 0.8040	25.330 / 0.6795
SotA SR algorithms (with bicubic kernel + ZSSR)	29.102 / 0.8215	25.605 / 0.6911
SotA SR algorithms (with EDSRplus)	29.172 / 0.8216	25.638 / 0.6928
SotA SR algorithms (with RCANplus)	29.198 / 0.8223	25.659 / 0.6936
PDN (NTIRE’18 winner)	-	26.340 / 0.7190
KernelGAN (Ours) + SRMD (NTIRE winner)	29.565 / 0.8564	25.711 / 0.7265
KernelGAN (Ours) + ZSSR	30.363 / 0.8669	26.810 / 0.7316
Ground-truth kernel + SRMD	31.962 / 0.8955	27.375 / 0.7655
Ground-truth kernel + ZSSR (Upper bound)	32.436 / 0.8992	27.527 / 0.7446
Ground-truth kernel baseline (alternative)	-	-

• KernelGAN은 ZSSR 및 다른 SR 방법과 함께 사용 시 커널이 비-이상적이거나 알려지지 않았을 때 비블라인드 SR에 비해 상당한 개선을 제공합니다.
• KernelGAN 기반 커널 추정은 SR 알고리즘과 함께 사용할 때 시각적 및 정량적 지표 모두에서 Michaeli & Irani(이전 커널 추정기)를 능가합니다.
• DIV2KRK Blind-SR 벤치마크에서, KernelGAN은 스케일 ×2에서 이전 방법에 비해 약 ~1 dB PSNR 개선, ×4에서 약 ~0.47 dB를 ZSSR과 결합했을 때 달성합니다.
• 13×13 수용 영역을 가진 딥 선형 생성기가 커널 추정에 대해 단일-layer 생성기에 비해 현저히 우수합니다.
• 학습된 k2로부터 커널 컨볼루션/팽창 관계를 통해 더 높은 스케일 커널(k4)을 얻는 해석적 경로를 제공합니다.
• 실사진 실험에서 KernelGAN은 더 신뢰할 수 있는 SR-커널 추정을 제공하여 주관적 및 수치적 SR 품질이 향상됩니다.