[논문 리뷰] Spectrum-to-Kernel Translation for Accurate Blind Image Super-Resolution

Guangpin Tao, Xiaozhong Ji외 7명|arXiv (Cornell University)|2021. 10. 23.

Advanced Image Processing Techniques참고 문헌 37인용 수 7

한 줄 요약

이 논문은 저해상도 이미지의 주파수 도메인 스펙트럼에서 직접 블러 커널을 추정하는 새로운 블라인드 이미지 초해상도 프레임워크를 제안한다. 스펙트럼에서 커널으로(S2K) 변환하는 네트워크를 활용하여 주파수 도메인 특징 표현과 SR 치우침 최적화를 고려한 조건부 GAN을 적용함으로써, 기존 최고 성능(SOTA)을 초월하는 성능을 달성한다. 평균적으로 2× 및 4× 확대 시 각각 1.39dB와 0.48dB의 향상된 초해상도 품질을 기록한다.

ABSTRACT

Deep-learning based Super-Resolution (SR) methods have exhibited promising performance under non-blind setting where blur kernel is known. However, blur kernels of Low-Resolution (LR) images in different practical applications are usually unknown. It may lead to significant performance drop when degradation process of training images deviates from that of real images. In this paper, we propose a novel blind SR framework to super-resolve LR images degraded by arbitrary blur kernel with accurate kernel estimation in frequency domain. To our best knowledge, this is the first deep learning method which conducts blur kernel estimation in frequency domain. Specifically, we first demonstrate that feature representation in frequency domain is more conducive for blur kernel reconstruction than in spatial domain. Next, we present a Spectrum-to-Kernel (S$2$K) network to estimate general blur kernels in diverse forms. We use a Conditional GAN (CGAN) combined with SR-oriented optimization target to learn the end-to-end translation from degraded images' spectra to unknown kernels. Extensive experiments on both synthetic and real-world images demonstrate that our proposed method sufficiently reduces blur kernel estimation error, thus enables the off-the-shelf non-blind SR methods to work under blind setting effectively, and achieves superior performance over state-of-the-art blind SR methods, averagely by 1.39dB, 0.48dB on commom blind SR setting (with Gaussian kernels) for scales $2 imes$ and $4 imes$, respectively.

연구 동기 및 목표

• 실제 이미지에서 블러 커널이 알려져 있지 않고 다양하게 변하는 블라인드 이미지 초해상도 문제를 해결한다.
• 학습과 추론 시에 비일관된 열악한 조건으로 인해 비블라인드 SR 모델의 성능 저하 문제를 해결한다.
• 공간 도메인 대신 주파수 도메인에서 블러 커널의 형태 구조를 활용하여 커널 추정 정확도를 향상시킨다.
• 기존의 비블라인드 SR 모델이 블라인드 환경에서도 효과적으로 작동할 수 있도록 강력하고 종단 간(end-to-end) 프레임워크를 개발한다.
• 합성 및 실제 이미지 데이터셋 모두에서 뛰어난 시각적 및 정량적 성능을 입증한다.

제안 방법

• 이론적 분석을 통해 주파수 도메인 표현이 특히 희박한 커널에 대해 공간 도메인 특징보다 블러 커널 복원에 더 유리하다는 것을 보여준다.
• 손상된 저해상도 이미지의 푸리에 진폭 스펙트럼을 보간된 공간 블러 커널로 매핑하는 스펙트럼에서 커널로(S2K)의 변환 네트워크를 제안한다.
• 다중 구성 요소 손실을 갖는 조건부 GAN(CGAN)을 사용한다: 픽셀 수준 복원을 위한 L1 손실, 커널 형태 유지에 위한 스펙트럼 일致성 손실(Ls), 안정적인 훈련을 위한 정규화 손실(Lreg).
• 저해상도 이미지의 이산 푸리에 변환(DFT) 기반 주파수 도메인 입력 표현을 활용하며, 커널 구조를 포착하기 위해 진폭 스펙트럼에 집중한다.
• 추정된 커널을 기존의 비블라인드 SR 모델에 통합하여 종단 간 블라인드 SR 추론을 수행함으로써 최종 초해상도 품질 최적화와 일치시킨다.
• 명시적인 공간 커널 감독 없이도, 짝지어진 저해상도 이미지와 그에 해당하는 진짜 커널을 사용하여 S2K 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 저해상도 이미지의 주파수 도메인 표현이 공간 도메인 표현보다 더 강력하고 정확한 블러 커널 추정을 가능하게 하는가?
• RQ2 주파수 도메인에서 스펙트럼에서 커널로 직접 변환하는 것이 블라인드 초해상도 작업에서 공간 도메인 커널 추정보다 우월한가?
• RQ3 최적화 목표 함수의 선택(예: L1, 스펙트럼 일치성, 정규화)이 커널 추정 및 후속 초해상도 성능에 어떤 영향을 미치는가?
• RQ4 제안된 S2K 프레임워크는 특정 커널 유형에 맞게 설계하지 않고도 다양한 블러 커널(Gaussian, motion, disk 등)에 일반화 가능한가?
• RQ5 주파수 도메인에서의 커널 추정은 공개된 비블라인드 SR 모델이 블라인드 환경에서 성능을 얼마나 향상시키는가?

주요 결과

• S2K 네트워크는 표준 벤치마크에서 블라인드 이미지 초해상도 작업에서 최고 성능을 달성하며, 2× 및 4× 확대 시 각각 평균적으로 PSNR를 1.39dB와 0.48dB 향상시킨다.
• 주파수 도메인에서의 커널 추정은 복잡하거나 임의의 커널에 대해 공간 도메인 방법보다 오차를 크게 감소시킨다.
• 적은 파rameter 수에도 불구하고 주파수 도메인 접근법은 강력한 초해상도 성능(1.55dB 및 0.63dB 감소)을 유지하지만, 공간 도메인 방법은 심각한 성능 저하(9.45dB 및 10.08dB 감소)를 겪는다.
• 제거 실험을 통해 L1, 스펙트럼 일치성(Ls), 정규화(Lreg) 손실을 모두 조합할 경우가 가장 우수한 커널 추정 및 초해상도 결과를 얻는다.
• 실제 역사적 이미지 및 Canon 촬영 이미지에 대한 시각적 비교에서 S2K는 이전 방법보다 더 선명한 질감, 날카운 에지, 더 적은 잡음과 아티팩트를 생성한다.
• 이 방법은 다양한 열악한 조건에 대해 잘 일반화되며, 이미지 전반에 걸쳐 커널 추정 오차가 공간적으로 변동하더라도 높은 품질 유지 능력을 보인다.