[논문 리뷰] End-to-end Alternating Optimization for Blind Super Resolution

Zhengxiong Luo, Yan Huang외 3명|arXiv (Cornell University)|2021. 05. 14.

Advanced Image Processing Techniques참고 문헌 50인용 수 30

한 줄 요약

논문은 end-to-end, iteratively unfolded 프레임워크에서 blur kernel을 공동 추정하고 blind super-resolution 이미지를 복원하는 deep alternating network (DAN)을 제안하여 추정과 복원 간의 호환성을 개선하고 빠른 속도로 최첨단 결과를 달성한다.

ABSTRACT

Previous methods decompose the blind super-resolution (SR) problem into two sequential steps: extit{i}) estimating the blur kernel from given low-resolution (LR) image and extit{ii}) restoring the SR image based on the estimated kernel. This two-step solution involves two independently trained models, which may not be well compatible with each other. A small estimation error of the first step could cause a severe performance drop of the second one. While on the other hand, the first step can only utilize limited information from the LR image, which makes it difficult to predict a highly accurate blur kernel. Towards these issues, instead of considering these two steps separately, we adopt an alternating optimization algorithm, which can estimate the blur kernel and restore the SR image in a single model. Specifically, we design two convolutional neural modules, namely extit{Restorer} and extit{Estimator}. extit{Restorer} restores the SR image based on the predicted kernel, and extit{Estimator} estimates the blur kernel with the help of the restored SR image. We alternate these two modules repeatedly and unfold this process to form an end-to-end trainable network. In this way, extit{Estimator} utilizes information from both LR and SR images, which makes the estimation of the blur kernel easier. More importantly, extit{Restorer} is trained with the kernel estimated by extit{Estimator}, instead of the ground-truth kernel, thus extit{Restorer} could be more tolerant to the estimation error of extit{Estimator}. Extensive experiments on synthetic datasets and real-world images show that our model can largely outperform state-of-the-art methods and produce more visually favorable results at a much higher speed. The source code is available at \url{https://github.com/greatlog/DAN.git}.

연구 동기 및 목표

• blur kernel이_unknown이고 이미지마다 달라지는 blind SR을 동기화하는 것을 목표로 한다.
• 하나의 모델에서 kernel 추정과 SR 복원을 교대로 수행하는 엔드-투-엔드 아키텍처를 제안한다.
• 추정과 SR 복원 간의 호환성을 개선하여 오차 전파를 줄인다.
• 합성 및 실제 이미지에서 양적 및 질적 성능이 우수하고 속도가 증가하는 것을 입증한다.

제안 방법

• Estimator (kernel estimator)와 Restorer (SR reconstructor)라는 두 개의 CNN 모듈을 도입한다.
• blind SR을 교대 최적화 문제로 형식화하고 Iterations 간 공유 매개변수를 가진 학습 가능한 네트워크(DAN)로 펼친다.
• Dual-path conditional block (DPCB)과 dual-path conditional group (DPCG)을 사용하여 기본 입력과 조건부 입력을 heavy concatenation 없이 효율적으로 융합한다.
• 커널 합이 1이 되도록 Softmax를 사용하여 완전한 블러 커널을 예측한다.
• 최종 반복 감독으로 end-to-end로 학습하되 중간 결과는 제약을 두지 않아 수렴을 촉진한다.
• 실무적으로 4개의 고정된 교대 반복을 채택하고, 입력으로 모델에 제공하기 위해 Dirac delta로 초기화된 커널을 재구성하고 PCA로 축소한다.

실험 결과

연구 질문

• RQ1 엔드-투-엔드 네트워크가 두 단계 방법보다 blur 커널을 공동 추정하고 blind SR을 더 효과적으로 수행할 수 있는가?
• RQ2 LR 및 SR 이미지의 정보가 Estimator가 더 나은 커널을 예측하는 데 도움이 되며, 공동 학습 시 Restorer가 Estimator 오류를 견디는가?
• RQ3 Dual-Path Conditional Block 같은 아키텍처적 혁신이 Estimator와 Restorer의 성능과 효율성을 향상시키는가?
• RQ4 완전한 커널 vs 축소된 커널에 대한 감독이 최종 SR 품질에 미치는 영향은 무엇인가?
• RQ5 DAN 변형들이 등방성 가우시안 vs 비정규적 블러 저하에서 어떻게 비교되는가?

주요 결과

• END-TO-END DAN이 교대 최적화와 함께 합성 데이터에서 최첨단의 두 단계 blind SR 방법들보다 상당히 우수하게 성능을 보이며 실사진에서도 우수하다(특히 IKC를 능가).
• DANv1은 Urban100에서 스케일 3에 대해 IKC를 3.22 dB 앞서며 엔드-투-엔드 학습의 가치를 보여준다.
• DANv2는 Dual-Path Conditional Block(DPCB)과 개선된 Estimator 감독으로 성능을 further 향상시키며 스케일 4에서 DANv1을 1.19 dB 앞선다.
• duAL-path 디자인은 추론 속도를 높이고 학습을 안정화시켜 커널/HR 추정의 속도와 견고성을 향상시킨다.
• Estimator는 이제 완전한 커널에 대해 감독되고(축소공간이 아님), Softmax가 커널 원소의 합이 1이 되도록 하여 커널의 현실성과 수렴을 향상시킨다.
• 모델은 LR 및 SR 이미지 모두의 정보를 활용하여 커널을 추정하는 데 효과적이며 전체 시스템의 추정 오류에 대한 내성을 높인다.