[논문 리뷰] KOALAnet: Blind Super-Resolution using Kernel-Oriented Adaptive Local Adjustment

Soo Ye Kim, Hyeonjun Sim외 1명|arXiv (Cornell University)|2020. 12. 15.

Advanced Image Processing Techniques참고 문헌 30인용 수 6

한 줄 요약

KOALAnet는 커널 기반 적응형 국소 조정(KOALA) 모듈을 사용하여 공간적으로 변화하는 왜곡 및 복원 커널을 동시에 학습하는 새로운 블라인드 슈퍼레졸루션 프레임워크이다. 위치별로 예측된 흐림 커널을 적용하고 학습된 필터를 통해 적응형 특징 조정을 수행함으로써, 의 intensional blur가 포함된 합성 및 실세계의 저해상도 이미지에서 최신 기술을 초월하는 성능을 달성하며, 초점 밖 영역의 과도한 샤프닝을 방지하고 사진 작가의 의도를 유지한다.

ABSTRACT

Blind super-resolution (SR) methods aim to generate a high quality high resolution image from a low resolution image containing unknown degradations. However, natural images contain various types and amounts of blur: some may be due to the inherent degradation characteristics of the camera, but some may even be intentional, for aesthetic purposes (e.g. Bokeh effect). In the case of the latter, it becomes highly difficult for SR methods to disentangle the blur to remove, and that to leave as is. In this paper, we propose a novel blind SR framework based on kernel-oriented adaptive local adjustment (KOALA) of SR features, called KOALAnet, which jointly learns spatially-variant degradation and restoration kernels in order to adapt to the spatially-variant blur characteristics in real images. Our KOALAnet outperforms recent blind SR methods for synthesized LR images obtained with randomized degradations, and we further show that the proposed KOALAnet produces the most natural results for artistic photographs with intentional blur, which are not over-sharpened, by effectively handling images mixed with in-focus and out-of-focus areas.

연구 동기 및 목표

• 실세계 이미지에서 공간적으로 변화하는 흐림, 특히 심도의 초점 효과로 인한 의도적인 흐림이 있는 상황에서 블라인드 슈퍼레졸루션의 과제를 해결하기 위해.
• 이중선형 보간 보다 더 일반화된 성능을 향상시키기 위해 왜곡 및 복원 커널을 동시에 학습하기 위해.
• 예술적 사진에서 초점 밖 영역의 과도한 샤프닝을 방지함으로써 사진 작가의 의도를 유지하기 위해.
• 모든 CNN에 통합될 수 있는 유연하고 확장 가능한 모듈(KOALA)을 개발하여 이미지 복원 작업에서 적응형 특징 조정을 가능하게 하기 위해.

제안 방법

• 프레임워크는 저해상도 입력에서 공간적으로 변화하는 흐림 커널을 추정하는 다운샘플링 네트워크로 구성된다.
• KOALA 모듈은 예측된 왜곡 커널을 사용하여 특징 조정을 위한 위치별 곱셈(m) 및 국소 필터(k) 파rameter를 생성한다.
• 업샘플링 네트워크는 학습된 k 파rameter를 사용하여 공간적으로 변화하는 필터링을 적용하여 왜곡 특성에 따라 초기 단계의 특징을 조정한다.
• 모델은 다양한 흐림 유형에 대응하기 위해 무작위 비대칭 가우시안 왜곡 하에 엔드 투 엔드로 훈련된다.
• KOALA 모듈은 다양한 CNN 아키텍처와의 호환성과 확장성을 고려하여 설계되어 이미지 복원 작업에 적합하다.
• 커널 추정은 예측된 커널과 진짜 커널 간의 $l_2$ 손실을 최적화하여 왜곡 모델링의 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크는 공간적으로 변화하는 흐림, 특히 심도의 초점 효과로 인한 의도적인 흐림을 효과적으로 분리하고 복원할 수 있는가?
• RQ2 왜곡 및 복원 커널을 동시에 학습함으로써, 새로운 실세계 왜곡 패tern에 대해 성능이 어떻게 향상되는가?
• RQ3 KOALAnet는 초점 밖 영역의 원래 흐림 특성을 과도하게 샤프닝하지 않고 얼마나 잘 유지할 수 있는가?
• RQ4 제안된 KOALA 모듈은 다양한 네트워크 아키텍처와 왜곡 유형에 대해 블라인드 슈퍼레졸루션에서 일반화되는가?

주요 결과

• KOALAnet는 $\times 4$ 슈퍼레졸루션에서 DIV2K-val 데이터셋에서 PSNR 49.50과 SSIM 0.9980을 기록하여 최신 기술을 초월했다.
• 모델은 DIV2K-val에서 평균 $l_2$ 오차를 0.0010으로 줄였고, DIV2KRK에서는 0.0044로 유지하여 KernelGAN과 BlindSR를 크게 능가했다.
• 초점과 초점 밖 영역가 혼합된 이미지에서 KOALAnet는 흐림 특성을 성공적으로 유지하였으며, 배경 영역의 과도한 샤프닝을 방지했다.
• 제거 실험 결과 잔차 연결을 제거하거나 균일한 커널을 사용할 경우 PSNR가 4.72 dB 감소하여 공간적으로 변화하는 모델링의 필요성을 입증했다.
• 시각화 결과 KOALA 모듈이 방향 인식 필터를 학습하여 국소 흐림 패턴에 따라 특징을 적응적으로 조정하는 것을 확인했다.
• 모델은 알려지지 않은 왜곡이 있는 역사적 이미지에 대해서도 강력한 일반화 성능을 보이며 높은 인지적 품질과 정확도를 유지했다.