[논문 리뷰] Kernelized Back-Projection Networks for Blind Super Resolution

Tomoki Yoshida, Yuki Kondo외 3명|arXiv (Cornell University)|2023. 02. 16.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 블라인드 슈퍼레졸루션을 위해 반복적으로 블러 커널 추정과 슈퍼레졸루션 특징 강화를 통합하는 커널화된 백프로젝션 네트워크(KBPN 및 KCBPN)를 제안한다. 원시 블러 커널을 통해 복원 과정을 모델링하고, 백프로젝션을 통한 잔차 학습을 통해 KBPN은 블라인드 SR 벤치마크에서 최신 기술을 능가하는 PSNR 29.52를 달성한다. 이는 HR 이미지 및 블러 커널 추정치의 반복적 개선을 통해 달성된다.

ABSTRACT

Since non-blind Super Resolution (SR) fails to super-resolve Low-Resolution (LR) images degraded by arbitrary degradations, SR with the degradation model is required. However, this paper reveals that non-blind SR that is trained simply with various blur kernels exhibits comparable performance as those with the degradation model for blind SR. This result motivates us to revisit high-performance non-blind SR and extend it to blind SR with blur kernels. This paper proposes two SR networks by integrating kernel estimation and SR branches in an iterative end-to-end manner. In the first model, which is called the Kernel Conditioned Back-Projection Network (KCBPN), the low-dimensional kernel representations are estimated for conditioning the SR branch. In our second model, the Kernelized BackProjection Network (KBPN), a raw kernel is estimated and directly employed for modeling the image degradation. The estimated kernel is employed not only for back-propagating its residual but also for forward-propagating the residual to iterative stages. This forward-propagation encourages these stages to learn a variety of different features in different stages by focusing on pixels with large residuals in each stage. Experimental results validate the effectiveness of our proposed networks for kernel estimation and SR. We will release the code for this work.

연구 동기 및 목표

• 학습 중에 볼 수 없었던 블러 커널을 포함한 임의의 복원 과정을 다룰 수 없는 비블라인드 슈퍼레졸루션의 한계를 해결하기 위해.
• 다양한 블러 커널로 훈련된 비블라인드 SR 모델이 전용 블라인드 방법과 비교해 블라인드 SR 성능을 달성할 수 있는지 탐구하기 위해.
• 반복적 개선을 통해 슈퍼레졸루션과 블러 커널 추정을 동시에 최적화하는 엔드 투 엔드 훈련 가능한 네트워크를 개발하기 위해.
• 백프로젝션 기반의 잔차 메커니즘을 통해 고해상도 잔차 픽셀에 초점을 맞춰 딥 SR 네트워크의 특징 학습을 향상시키기 위해.
• 명시적인 복원 과정 모델링을 통해 이미지 복원 및 블러 커널 추정의 정확성과 내성 강도를 향상시키기 위해.

제안 방법

• 두 가지 모델을 제안한다: KCBPN은 저차원 커널 표현에 조건을 붙인 SR 브랜치를 사용하고, KBPN은 원시 블러 커널을 추정하여 명시적인 복원 과정 모델링을 수행한다.
• 백프로젝션 프레임워크 내에서 반복적인 업프로젝션 및 다운프로젝션을 통합하여, 각 단계에서 현재의 HR 추정치와 블러 커널을 사용해 저해상도 이미지를 재구성한다.
• 각 단계에서 입력된 저해상도 이미지와 재구성된 저해상도 이미지 사이의 잔차 손실을 사용하여, SR 및 블러 커널 추정치의 점진적 개선을 가능하게 한다.
• 통합 손실 함수를 적용한다: 블러 커널 추정을 위한 커널 손실과 재구성된 저해상도 이미지가 입력과 일치하도록 유도하는 LR 손실을 결합하여 정확한 복원 과정 모델링을 촉진한다.
• 백프로젝션을 오차 피드백뿐만 아니라 잔차의 전방 전파에도 사용하여, 높은 오차를 보이는 픽셀에서 단계별 특징 학습을 장려한다.
• 반복 단계 간의 특징를 유지하고 강화하기 위해 밀집 스케입 커넥션 구조를 활용하여 표현 다양성을 향상시킨다.

(a) HR image

실험 결과

연구 질문

• RQ1 다양한 블러 커널로 훈련된 비블라인드 슈퍼레졸루션 모델이 전용 블라인드 슈퍼레졸루션 방법과 유사한 성능을 달성할 수 있는가?
• RQ2 반복적 백프로젝션은 어떻게 비블라인드 환경에서 블러 커널 추정과 슈퍼레졸루션을 동시에 최적화하는 데 확장될 수 있는가?
• RQ3 재구성된 저해상도 이미지 기반의 잔차 학습이 비블라인드 SR에서 특징 표현 및 복원 품질을 얼마나 향상시키는가?
• RQ4 원시 블러 커널을 통한 복원 과정의 명시적 모델링이 슈퍼레졸루션 및 커널 추정 성능을 향상시키는가?
• RQ5 제안된 네트워크의 반복 단계는 어떻게 다양한 특징을 학습하고, 이는 복원 정밀도 향상에 기여하는가?

주요 결과

• KBPN은 DIV2K 블라인드 SR 벤치마크에서 PSNR 29.52를 기록하여 IKC(27.64) 및 KOALAnet(25.46)와 같은 최신 기술을 초월한다.
• 제안된 방법은 특히 날카운 에지와 미세한 텍스처를 재구성하는 데 뛰어난 시각적 품질을 보이며, 정성적 비교에서 이를 확인할 수 있다.
• 특징맵 시각화 결과, 초기 단계는 저주파 특징을 학습하는 반면 후속 단계는 고주파 세부 정보에 집중함을 확인하여 점진적 개선이 이루어지고 있음을 확인할 수 있다.
• 잔차 맵(R^LR_t)은 단계가 진행될수록 픽셀 단위 값이 감소함을 보이며, 재구성된 이미지와 진짜 저해상도 이미지 간의 정렬이 향상됨을 시사한다.
• 이 방법은 이방향 가우시안 블러를 포함한 다양한 블러 유형에 대해 강건하지만, 복잡한 블러에 대해서는 커널 분산 추정이 완벽하지 않음이 확인되었다.
• 실험 결과는 비블라인드 SR 모델이 다양한 블러 커널로 훈련된 경우 블라인드 SR 성능에 근접할 수 있음을 확인하여, 제안된 프레임워크의 핵심 설계 원리를 검증한다.

Figure 2 : Comparison of iterative SR networks. Iterative stages are enclosed by gray rectangles. (a) Non-blind SR with iterative up- and down-projections [ 5 ] . (b) Blind SR with kernel estimation [ 2 ] . (c) Our method 1 (KCBPN): Iterative up- and down-projections are integrated with kernel condi