[논문 리뷰] Blind Super-Resolution With Iterative Kernel Correction

Jinjin Gu, Hannan Lu외 2명|arXiv (Cornell University)|2019. 04. 06.

Advanced Image Processing Techniques참고 문헌 35인용 수 23

한 줄 요약

이 논문은 빔 스모어라이제이션에 대해 반복적 보정을 통해 정확하지 않은 블러 커널을 수정하는 반복적 커널 보정(IKC) 방법을 제안한다. 이는 초상화 출력에서의 아티팩트 패tern을 기반으로 한다. SFTMD라는 새로운 네트워크를 사용하여 공간적 특징 변환 레이어를 통합함으로써, 합성 및 실세계 이미지에서 모두 최신 기술 수준(SOTA) 성능을 달성하며, 커널 불일치로 인한 과도한 부드러움과 리버브 아티팩트를 크게 감소시킨다.

ABSTRACT

Deep learning based methods have dominated super-resolution (SR) field due to their remarkable performance in terms of effectiveness and efficiency. Most of these methods assume that the blur kernel during downsampling is predefined/known (e.g., bicubic). However, the blur kernels involved in real applications are complicated and unknown, resulting in severe performance drop for the advanced SR methods. In this paper, we propose an Iterative Kernel Correction (IKC) method for blur kernel estimation in blind SR problem, where the blur kernels are unknown. We draw the observation that kernel mismatch could bring regular artifacts (either over-sharpening or over-smoothing), which can be applied to correct inaccurate blur kernels. Thus we introduce an iterative correction scheme -- IKC that achieves better results than direct kernel estimation. We further propose an effective SR network architecture using spatial feature transform (SFT) layers to handle multiple blur kernels, named SFTMD. Extensive experiments on synthetic and real-world images show that the proposed IKC method with SFTMD can provide visually favorable SR results and the state-of-the-art performance in blind SR problem.

연구 동기 및 목표

• 블러 커널이 알려져 있거나 잘못된 경우 딥러닝 기반 슈퍼레졸루션의 성능 저하 문제를 해결한다.
• 실세계 응용에서 사전 정의되거나 수작업으로 만든 커널에 의존하는 기존 방법의 한계를 극복한다.
• 지식이 없는 상태에서 지도 학습 없이도 블러 커널을 추정하고 보정할 수 있는 강건한 종단 간 프레임워크를 개발한다.
• 다양한 열악한 조건 하에서의 열악한 패턴, 특히 실세계의 복잡하고 알려지지 않은 블러 커널에 대한 일반화 능력을 향상시킨다.
• 열악한 과정에 대한 사전 지식 없이도 자동으로 아티팩트 없는 슈퍼레졸루션을 가능하게 한다.

제안 방법

• SR 출력에서 발생하는 아티팩트를 분석함으로써 초기 블러 커널 추정치를 반복적으로 보정하는 반복적 커널 보정(IKC) 기법을 도입한다.
• 커널 불일치 효과의 비대칭성을 활용한다: 과도한 부드러움은 너무 부드러운 커널을 의미하고, 리버브는 너무 날카운 커널을 의미한다.
• 주성분 분석(PCA)을 사용하여 블러 커널을 저차원 공간에 표현함으로써, 예측되지 않은 커널에 대한 일반화 능력을 향상시킨다.
• 다중 블러 커널에 조건부로 특징 맵을 처리하는 공간적 특징 변환(SFT) 레이어를 사용하는 새로운 비블라인드 SR 네트워크인 SFTMD를 설계한다.
• SFT 모듈을 통해 커널 인식 특징를 주입함으로써, SFTMD 네트워크를 다양한 커널을 처리할 수 있도록 학습시켜 더 나은 특징 적응 능력을 확보한다.
• IKC와 SFTMD를 두 단계 파이프라인으로 통합한다: 먼저 IKC를 통해 커널을 추정하고, 그 후 보정된 커널을 사용하여 SFTMD로 고해상도 이미지를 재구성한다.

실험 결과

연구 질문

• RQ1 반복적 블러 커널 보정이 블라인드 슈퍼레졸루션에서 커널 불일치로 인한 아티팩트를 줄일 수 있는가?
• RQ2 PCA를 사용한 커널 표현 방식이 다양한 열악한 패턴에 대한 일반화 능력을 향상시키는가?
• RQ3 SFTMD가 다수의 블러 커널을 처리할 때 기존의 비블라인드 SR 네트워크인 SRMD를 능가할 수 있는가?
• RQ4 제안된 IKC 방법은 알려지지 않은 복잡한 열악한 커널을 가진 실세계 이미지에서 어떻게 성능을 내는가?
• RQ5 IKC와 SFTMD의 조합이 합성 및 실세계 설정 모두에서 블라인드 슈퍼레졸루션에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 IKC 방법은 SR 요인 4일 때 DIV2K 데이터셋에서 PSNR 27.06을 달성하여 이전 최신 기술 수준(SOTA) 방법을 능가한다.
• BSD100 데이터셋에서 IKC는 SR 요인 4일 때 PSNR 26.35를 기록하여 다양한 이미지 세트에서 뛰어난 성능을 보였다.
• 예상치 못한 열악한 설정에 대해서도 잘 일반화되어 있으며, 훈련 조건과 다를 경우에도 높은 성능 유지를 유지한다.
• 실세계 이미지의 시각적 결과에서는 ZSSR과 수작업으로 만든 커널을 사용한 SRMD에 비해 IKC가 더 선명하고 자연스러운 출력을 생성한다.
• 훈련 중에 볼 수 없었던 테스트 커널에 대해서도 PCA를 사용한 커널 표현 방식이 일반화 능력을 향상시켜 성능 향상을 보였다.
• SFTMD는 SRMD에 비해 뛰어난 성능을 보였으며, 일부 벤치마크에서 PSNR가 2.5 dB 향상되어 SFT 기반 특징 조절의 효과를 확인했다.