[논문 리뷰] Non-uniform Blur Kernel Estimation via Adaptive Basis Decomposition

Guillermo Carbajal, Patricia Vitoria외 3명|arXiv (Cornell University)|2021. 02. 01.

Advanced Image Processing Techniques참고 문헌 38인용 수 10

한 줄 요약

이 논문은 단일 흐린 이미지에서 고밀도의 공간적으로 변화하는 운동 블러 커널을 추정하기 위한 비모수적이고 적응형 기저 분해 방법을 제안한다. 컨volutional 신경망이 이미지에 맞는 기저 커널과 픽셀별 혼합 계수를 예측함으로써 정확한 블러 필드 재구성 가능; 변분 탈블러링과 조합했을 때 실제 흐린 이미지에서 최신 기술 수준의 성능 달성하며, 일반화 능력과 포화 영역 처리 능력에서 엔드 투 엔드 딥 러닝 방법을 능가한다.

ABSTRACT

Motion blur estimation remains an important task for scene analysis and image restoration. In recent years, the removal of motion blur in photographs has seen impressive progress in the hands of deep learning-based methods, trained to map directly from blurry to sharp images. Characterization of the motion blur, on the other hand, has received less attention, and progress in model-based methods for deblurring lags behind that of data-driven end-to-end approaches. In this work we revisit the problem of characterizing dense, non-uniform motion blur in a single image and propose a general non-parametric model for this task. Given a blurry image, a neural network is trained to estimate a set of image-adaptive basis motion kernels as well as the mixing coefficients at the pixel level, producing a per-pixel motion blur field. We show that our approach overcomes the limitations of existing non-uniform motion blur estimation methods and leads to extremely accurate motion blur kernels. When applied to real motion-blurred images, a variational non-uniform blur removal method fed with the estimated blur kernels produces high-quality restored images. Qualitative and quantitative evaluation shows that these results are competitive or superior to results obtained with existing end-to-end deep learning (DL) based methods, thus bridging the gap between model-based and data-driven approaches.

연구 동기 및 목표

• 비모수적 모델 기반 방법의 비균일 운동 블러 커널 추정 한계를 해결하기 위해.
• 정확한 비모수적 블러 커널 추정을 통해 모델 기반과 데이터 기반 탈블러링 접근법 사이의 격차를 메우기 위해.
• 특히 저조도 조건에서 포화 영역이 존재하는 실제 흐린 이미지에 대한 일반화 능력을 향상시키기 위해.
• 학습된 기저 함수를 사용해 공간적으로 변화하는 블러 필드를 압축된, 이미지에 적응하는 표현으로 제공하기 위해.
• 추정된 커널을 사용한 모델 기반 탈블러잉이 실제 데이터에서 엔드 투 엔드 딥 러닝 방법을 능가할 수 있음을 보여주기 위해.

제안 방법

• 입력된 흐린 이미지마다 이미지에 맞는 기저 운동 커널과 해당하는 픽셀별 혼합 계수를 예측하는 CNN을 훈련한다.
• 각 픽셀의 블러 커널은 학습된 혼합 계수를 사용해 기저 커널들의 가중 평균으로 계산된다.
• 밀도 높은 공간적으로 변화하는 블러 필드를 효율적으로 모델링하기 위해 저랭크 표현을 사용한다.
• 저조도 조건에서의 강건성을 향상시키기 위해 포화 영역을 명시적으로 모델링한다.
• 추정된 블러 커널은 고전적인 비맹렬 변분 탈블러잉 알고리즘(예: Richardson-Lucy)의 입력으로 사용되어 이미지 복원이 이루어진다.
• 프레임워크는 자체 제작한 합성 데이터셋으로 훈련되고, RealBlur와 Lai와 같은 실제 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 비모수적이고 적응형 기저 분해 접근법이 기존의 모델 기반 방법보다 더 정확하고 일반화 능력이 뛰어난 비균일 블러 커널 추정을 달성할 수 있는가?
• RQ2 학습된 이러한 커널 표현이 실제 비합성 흐린 이미지의 탈블러잉에서 엔드 투 엔드 딥 러닝 방법을 능가할 수 있는가?
• RQ3 저조도 촬영에서의 포화 영역과 같은 도전적인 케이스를 얼마나 잘 처리하는가?
• RQ4 추정된 블러 커널 필드는 고전적인 변분 탈블러잉 알고리즘의 성능을 어느 정도 향상시키는가?
• RQ5 추정된 블러 커널을 사전 훈련된 GAN 기반 탈블러잉 모델에 통합하면 성능 향상과 환영 현상 감소에 기여하는가?

주요 결과

• RealBlur-R 벤치마크에서 본 방법은 PSNR 36.17 dB, SSIM 0.946을 기록하여 비교된 모든 엔드 투 엔드 딥 러닝 방법을 능가한다.
• RealBlur-J 벤치마크에서는 PSNR 28.95 dB, SSIM 0.865를 달성하여 MPRNet 및 DMPHN과 같은 최신 기술을 초월한다.
• 실제 흐린 이미지에서 엔드 투 엔드 딥 러닝 모델보다 뚜렷한 성능 향상을 보이며, PSNR 최대 3.17 dB 향상으로 우수한 일반화 능력을 입증한다.
• 정성적 비교에서 대부분의 경쟁 방법이 실패하는 포화 영역에서도 세부 정보를 성공적으로 복원한다.
• DeblurGAN을 추정된 커널로 미세조정하면 PSNR 28.08 dB를 기록하여 비디오 입력이 필요한 Reblur2Deblur 방법을 略로 뛰어넘는다.
• 추정된 블러 커널은 매우 정확하여 비맹렬이고 변분 기반 탈블러잉 알고리즘에서도 고품질 탈블러잉을 가능하게 한다.