[논문 리뷰] Fast Single Image Super-Resolution

Ningning Zhao, Qi Wei외 4명|arXiv (Cornell University)|2015. 10. 01.

Advanced Image Processing Techniques참고 문헌 53인용 수 4

한 줄 요약

이 논문은 주어진 ℓ₂-ℓ₂ 정규화 문제에 대해 주파수 도메인의 분해 및 블러링 연산자 성질을 활용하여 닫힘 형태의 해석적 해를 유도함으로써, 빠른 단일 이미지 초해상도 복원 방법을 제안한다. 이 방법은 가우시안 사전 정보에 대해 반복 계산 없이도 처리할 수 있으며, 총합 제약 조건이나 ℓ₁-노름 정규화와 같은 비가우시안 사전 정보에 적용할 경우 기존의 분할 기반 알고리즘의 계산 속도를 크게 향상시킨다.

ABSTRACT

This paper addresses the problem of single image super-resolution (SR), which consists of recovering a high resolution image from its blurred, decimated and noisy version. The existing algorithms for single image SR use different strategies to handle the decimation and blurring operators. In addition to the traditional first-order gradient methods, recent techniques investigate splitting-based methods dividing the SR problem into up-sampling and deconvolution steps that can be easily solved. Instead of following this splitting strategy, we propose to deal with the decimation and blurring operators simultaneously by taking advantage of their particular properties in the frequency domain, leading to a new fast SR approach. Specifically, an analytical solution can be obtained and implemented efficiently for the Gaussian prior or any other regularization that can be formulated into an $\ell_2$-regularized quadratic model, i.e., an $\ell_2$-$\ell_2$ optimization problem. Furthermore, the flexibility of the proposed SR scheme is shown through the use of various priors/regularizations, ranging from generic image priors to learning-based approaches. In the case of non-Gaussian priors, we show how the analytical solution derived from the Gaussian case can be embedded intotraditional splitting frameworks, allowing the computation cost of existing algorithms to be decreased significantly. Simulation results conducted on several images with different priors illustrate the effectiveness of our fast SR approach compared with the existing techniques.

연구 동기 및 목표

• 변수 분할 및 반복적 해법에 기반한 기존 단일 이미지 초해상도(SISR) 방법의 높은 계산 비용을 해결한다.
• 기존 ADMM 또는 분할 브레그만 프레임워크에서 분할된 감도 및 블러링 연산의 비효율성을 극복한다.
• 주파수 도메인 행렬 성질을 활용하여 ℓ₂-ℓ₂ 정규화 SISR 문제에 대해 비반복적 해석적 해를 도출한다.
• 비가우시안 사전 정보(예: 총합 제약 조건, ℓ₁)에 대해 기존 분할 프레임워크에 해석적 해를 통합하여 계산 비용을 감소시킨다.
• 다양한 정규화 유형과 이미지 사전 정보에 걸쳐 제안된 방법의 유연성과 효율성을 입증한다.

제안 방법

• 블러링 및 감도 연산자를 모델링하는 H를 사용하여 SISR 문제를 ℓ₂-ℓ₂ 최적화 문제로 설정: ||Hx - y||² + τ||x||²을 최소화한다.
• H의 푸리에 도메인에서 순환 및 블록 순환 성질을 활용하여 우드베리 행렬 항등식을 적용하여 닫힘 형태의 해를 도출한다.
• 푸리에 변환을 통한 H의 고유분해를 사용: H = FᴴΛF로 표현하여 주파수 도메인에서의 효율적 역행렬 계산을 가능하게 한다.
• 정리 1을 제안하여 해석적 해를 x = (FᴴΨF)⁻¹Fᴴr로 계산한다. 여기서 Ψ는 정규화 및 블러링 연산자로부터 유도된다.
• 비가우시안 사전 정보(예: 총합 제약 조건, ℓ₁)에 대해 ADMM 프레임워크에 해석적 해를 통합하여 반복적 하위 단계를 직접 계산으로 대체한다.
• 빠른 푸리에 변환(FFTs)을 사용하여 구현함으로써 계산 효율성과 대규모 이미지에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 단일 이미지 초해상도에서 감도 및 블러링 연산자를 주파수 도메인에서 동시에 처리하여 반복적 분할을 피할 수 있는가?
• RQ2 ℓ₂-ℓ₂ 정규화 SISR 문제에 대해 비반복적 계산이 가능한 해석적 해가 존재하는가?
• RQ3 가우시안 사전 정보에 대한 해석적 해가 비가우시안 사전 정보(예: 총합 제약 조건, ℓ₁-노름)에 적용된 분할 기반 알고리즘에 효과적으로 재사용될 수 있는가?
• RQ4 기존의 ADMM나 분할 브레그만 방법에 비해 제안된 방법이 계산 비용을 얼마나 줄이는가?
• RQ5 다양한 이미지와 정규화 유형에서 제안된 방법의 PSNR 및 SSIM 성능은 어떠한가?

주요 결과

• 감도 및 블러링 연산자의 주파수 도메인 성질을 활용하여 ℓ₂-ℓ₂ SISR 문제에 대해 닫힘 형태의 해를 도출함으로써, 제안된 방법이 성립한다.
• 해석적 해는 ADMM의 하위 문제 해결 과정을 반복적 계산에서 직접 계산으로 전환하여 계산 비용을 크게 감소시킨다.
• 비가우시안 사전 정보(예: 총합 제약 조건, ℓ₁-노름)에 대해 해석적 해를 ADMM 프레임워크에 통합함으로써 반복 횟수와 총 실행 시간을 감소시킨다.
• 시뮬레이션 결과는 제안된 방법이 TV 및 ℓ₁ 정규화를 사용할 경우 기존 ADMM 기반 SISR 방법보다 PSNR 및 SSIM 측면에서 뛰어난 성능을 보임을 보여준다.
• 계산 복잡도를 감소시키면서도 높은 복원 품질을 유지함으로써, 실시간 또는 대규모 이미지 초해상도 복원 응용 분야에 적합하다.