[논문 리뷰] Unfolding the Alternating Optimization for Blind Super Resolution

Zhengxiong Luo, Yan Huang외 3명|arXiv (Cornell University)|2020. 10. 06.

Advanced Image Processing Techniques참고 문헌 38인용 수 146

한 줄 요약

엔드-투-엔드 딥 대체 네트워크(DAN)를 제안하여 블라인드 SR에서 블러 커널을 함께 추정하고 고해상도 이미지를 복원하며, 교대로 최적화를 학습 가능한 네트워크로 펼칩니다. 이는 속도와 시각적 결과 측면에서 최첨단 방법보다 우수합니다.

ABSTRACT

Previous methods decompose blind super resolution (SR) problem into two sequential steps: extit{i}) estimating blur kernel from given low-resolution (LR) image and extit{ii}) restoring SR image based on estimated kernel. This two-step solution involves two independently trained models, which may not be well compatible with each other. Small estimation error of the first step could cause severe performance drop of the second one. While on the other hand, the first step can only utilize limited information from LR image, which makes it difficult to predict highly accurate blur kernel. Towards these issues, instead of considering these two steps separately, we adopt an alternating optimization algorithm, which can estimate blur kernel and restore SR image in a single model. Specifically, we design two convolutional neural modules, namely extit{Restorer} and extit{Estimator}. extit{Restorer} restores SR image based on predicted kernel, and extit{Estimator} estimates blur kernel with the help of restored SR image. We alternate these two modules repeatedly and unfold this process to form an end-to-end trainable network. In this way, extit{Estimator} utilizes information from both LR and SR images, which makes the estimation of blur kernel easier. More importantly, extit{Restorer} is trained with the kernel estimated by extit{Estimator}, instead of ground-truth kernel, thus extit{Restorer} could be more tolerant to the estimation error of extit{Estimator}. Extensive experiments on synthetic datasets and real-world images show that our model can largely outperform state-of-the-art methods and produce more visually favorable results at much higher speed. The source code is available at https://github.com/greatlog/DAN.git.

연구 동기 및 목표

• 블러 커널이 미지의 상태이고 단일 단계의 커널 추정과 SR이 서로 잘 맞지 않는 상황에서 블라인드 SR를 고무하고, 단일 단계의 커널 추정과 SR 간의 불일치를 해소한다.
• 커널 추정과 영상 복원을 번갈아 수행하는 통합된 엔드-투-엔드 네트워크를 제안한다.
• 추정된 커널로 복원을 학습시켜 커널 추정 오차에 대한 견고성을 보장한다.
• 두 단계형 블라인드 SR 파이프라인에 비해 학습 및 추론 속도를 개선한다.
• 여러 데이터셋에 걸친 합성 및 실제 이미지에서 우수한 성능을 시연한다.

제안 방법

• 커널 추정과 SR를 위한 번갈아 가는 최적화를 구현하기 위해 Estimator와 Restorer의 두 합성곱 모듈을 도입한다.
• 반복을 고정 깊이의 딥 네트워크(DAN)로 전개하여 엔드-투-엔드로 학습 가능한 구조로 만든다.
• 기본 입력과 조건 입력(SR 이미지와 커널)을 결합하기 위해 조건부 잔차 블록(CRB)을 사용하여 출력이 조건 입력에 정렬되도록 한다.
• Estimator는 LR와 SR 이미지를 모두 받아 PCA 축소된 블러 커널을 예측하고; Restorer는 LR 이미지와 추정된 커널을 받아 SR 이미지를 복구한다.
• 추정기로의 학습된 커널(ground-truth가 아님)로 Restorer를 학습시켜 추정 오차에 대한 관용성을 향상시킨다.
• 두 가지 열화 설정(Gaussian blur 및 불규칙 커널)로 평가하여 견고성과 속도상의 이점을 보여준다.

실험 결과

연구 질문

• RQ1 교대 최적화를 기반으로 한 엔드투엔드 네트워크가 전통적인 두 단계 블라인드 SR 파이프라인을 능가할 수 있는가?
• RQ2 Estimator와 Restorer를 공유하고 반복하는 것이 두 모듈을 함께 학습시킬 때 커널 추정과 SR 품질을 향상시키는가?
• RQ3 합성 및 실제 이미지에서 DAN의 PSNR/SSIM 및 추론 속도 측면 성능은 어떤가?
• RQ4 추론 시 커널 추정 오차와 다양한 반복 횟수에 대해 네트워크가 견고한가?

주요 결과

• DAN은 다수의 스케일과 데이터 세트에서 합성 데이터 세트에 대해 최첨단 블라인드 SR 방법들을 상당히 능가한다.
• DAN은 RTX2080Ti에서 이미지당 0.75초로 추론 속도가 현저히 빨라 KernelGAN+ZSSR보다 빠르며 여러 벤치마크에서 PSNR/SSIM에서 IKC를 능가한다.
• 연속적인 최적화를 통해 Estimator와 Restorer를 함께 학습시키면 축소 커널 공간에서 L1 오차가 더 낮은 커널 추정과 개선된 SR 결과를 얻고, 특히 커널 분산이 증가할수록 더 뚜렷하다.
• 테스트 시 더 많은 반복을 허용하면 성능이 더 개선되거나 안정될 수 있어 모듈 간의 학습된 협력이 고정점 이상으로 작동함을 시사한다.
• 실제 노이즈 이미지에 대한 실험은 DAN이 기저선보다 더 신뢰하게 노이즈 제거 및 세부 정보를 복원할 수 있음을 보여준다.