[논문 리뷰] Phase-only Image Based Kernel Estimation for Single-image Blind Deblurring

Liyuan Pan, Richard Hartley외 2명|arXiv (Cornell University)|2018. 11. 26.

Advanced Image Processing Techniques참고 문헌 49인용 수 6

한 줄 요약

이 논문은 주어진 주파수 도메인에서 절대 위상 뿐인 이미지의 자기상관을 분석하여 운동 패턴(방향 및 크기)을 인코딩하는 단일 이미지 망각적 흐림 제거를 위한 새로운 위상만 기반의 방법을 제안한다. 이 방법은 벤치마크 데이터셋에서 기존 최고 성능(SOTA)을 달성하며 PSNR, SSIM 및 SSD 지표를 향상시켰으며, 특히 세부 정보 복원과 레이저링 아티팩트 감소에서 뛰어난 성능을 보였다.

ABSTRACT

The image blurring process is generally modelled as the convolution of a blur kernel with a latent image. Therefore, the estimation of the blur kernel is essentially important for blind image deblurring. Unlike existing approaches which focus on approaching the problem by enforcing various priors on the blur kernel and the latent image, we are aiming at obtaining a high quality blur kernel directly by studying the problem in the frequency domain. We show that the auto-correlation of the absolute phase-only image can provide faithful information about the motion (e.g. the motion direction and magnitude, we call it the motion pattern in this paper.) that caused the blur, leading to a new and efficient blur kernel estimation approach. The blur kernel is then refined and the sharp image is estimated by solving an optimization problem by enforcing a regularization on the blur kernel and the latent image. We further extend our approach to handle non-uniform blur, which involves spatially varying blur kernels. Our approach is evaluated extensively on synthetic and real data and shows good results compared to the state-of-the-art deblurring approaches.

연구 동기 및 목표

• 주파수 도메인에서 직접 블러 커널을 추정하여 단일 이미지 망각적 흐림 제거의 불안정성 문제를 해결한다.
• 기존 방법이 사전 지식에 크게 의존하는 점을 극복하기 위해 위상 뿐인 이미지의 특성을 활용하여 운동 패턴을 추출한다.
• 균일 및 비균일 흐림 모두에 대해 간편하면서도 효과적인 블러 커널 추정 파이프라인을 개발한다.
• 블러 커널과 이미지 기울기 양쪽에 공간적 흩어름ness 정규화를 결합하여 복원 품질을 향상시킨다.
• 국소적 위상 뿐인 이미지 분석과 운동 패턴 추정을 통해 공간적으로 변화하는 커널을 모델링하여 비균일 흐림으로의 확장 가능성을 확보한다.

제안 방법

• 흐린 입력의 푸리에 변환에서 위상 정보만 유지하여 위상 뿐인 이미지를 재구성함으로써 구조적 에지 정보를 보존한다.
• 절대 위상 뿐인 이미지의 자기상관을 계산하여 블러의 방향 및 크기와 같은 운동 패턴을 추출한다.
• 유도된 운동 패턴을 블러 커널의 初기 추정치로 사용하고, 이후 흩어름ness 사전 지식을 활용한 최적화를 통해 개선한다.
• 블러 커널과 잠재 이미지 기울기 양쪽에 공간적 흩어름ness를 강제하는 공동 최적화 문제를 설정하여 복원 품질을 향상시킨다.
• 국소적 위상 뿐인 이미지 분석과 운동 패턴 추정을 활용하여 공간적으로 변화하는 커널을 모델링함으로써 비균일 흐림으로의 확장을 구현한다.
• MATLAB 기반 프레임워크를 C++ 워퍼와 함께 구현하여 $800 \times 800$ 이미지에 대해 효율적인 계층적 추정 전략을 적용한다.

실험 결과

연구 질문

• RQ1 절대 위상 뿐인 이미지의 자기상관이 블러 커널에 대응하는 운동 패턴(방향 및 크기)을 신뢰성 있게 드러내는가?
• RQ2 기존 사전 지식 대비 위상 뿐인 이미지 분석이 고품질의 초기 블러 커널 추정에 얼마나 효과적인가?
• RQ3 제안된 위상 기반 커널 추정이 흩어름ness 정규화를 통해 효과적으로 개선되어 초우수한 흐림 제거 성능을 달성할 수 있는가?
• RQ4 이 방법은 공간적으로 변화하는 커널을 가진 비균일 흐림에 얼마나 일반화 가능한가?
• RQ5 실제 및 합성 데이터에서 최고 수준의 망각적 흐림 제거 방법과의 정량적 및 정성적 비교에서 이 방법은 어떻게 성능을 내는가?

주요 결과

• [17] 데이터셋에서 제안된 방법은 PSNR 28.38 dB, SSIM 0.9250, SSD 0.8776을 기록하여 [19], [23], [43], [34]를 포함한 모든 비교 방법을 앞서며 최고 성능을 달성했다.
• [13] 데이터셋에서 방법은 PSNR 30.18 dB, SSIM 0.933을 기록하여 [16] 및 [19]를 포함한 모든 베이스라인 모델 중 최고 성능을 기록했다.
• 그림 1, 4, 5, 6, 8의 정성적 결과는 제안된 방법이 [23], [43], [19]보다 더 선명한 세부 정보를 복원하고 레이저링 아티팩트를 더 효과적으로 감소시킴을 보여준다.
• 단일 i7 코어에서 $800 \times 800$ 이미지당 처리 시간이 40초로 실용적인 효율성을 입증했다.
• 단절 실험 결과는 위상 뿐인 이미지 분석이 핵심임을 확인하였으며, 이를 제거할 경우 성능이 크게 악화되어 PSNR가 25.74 dB로 떨어졌다.
• 이 방법은 성공적으로 비균일 흐림으로 확장되었으며, 복잡한 공간적으로 변화하는 흐림 시나리오에서도 고품질의 커널 추정 및 이미지 복원을 유지했다.