[논문 리뷰] Kernel-Free Image Deblurring with a Pair of Blurred/Noisy Images.

Chunzhi Gu, Xuequan Lu외 2명|arXiv (Cornell University)|2019. 03. 26.

Advanced Image Processing Techniques참고 문헌 57인용 수 4

한 줄 요약

이 논문은 저조도 조건에서 촬영한 블러링된(저셔터 속도, 저노이즈) 및 노이지한(고셔터 속도, 고노이즈) 이미지 쌍을 활용하여 블러 커널 추정 없이 이미지의 블러를 복원하는 방법을 제안한다. 광학 흐름에 의해 정렬된 패치를 이용해 패치 단위의 강도 분포를 혼합 정규분포모형(GMM)으로 모델링하고, 양면 필터링 항과 세부 정보 레이어를 통해 보정함으로써, 블러 커널 추정 없이도 시각적 품질과 정량적 지표에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Complex blur like the mixup of space-variant and space-invariant blur, which is hard to be modeled mathematically, widely exists in real images. In the real world, a common type of blur occurs when capturing images in low-light environments. In this paper, we propose a novel image deblurring method that does not need to estimate blur kernels. We utilize a pair of images which can be easily acquired in low-light situations: (1) a blurred image taken with low shutter speed and low ISO noise, and (2) a noisy image captured with high shutter speed and high ISO noise. Specifically, the blurred image is first sliced into patches, and we extend the Gaussian mixture model (GMM) to model the underlying intensity distribution of each patch using the corresponding patches in the noisy image. We compute patch correspondences by analyzing the optical flow between the two images. The Expectation-Maximization (EM) algorithm is utilized to estimate the involved parameters in the GMM. To preserve sharp features, we add an additional bilateral term to the objective function in the M-step. We eventually add a detail layer to the deblurred image for refinement. Extensive experiments on both synthetic and real-world data demonstrate that our method outperforms state-of-the-art techniques, in terms of robustness, visual quality and quantitative metrics. We will make our dataset and source code publicly available.

연구 동기 및 목표

• 수학적으로 모델링하기 어려운 복잡한 실제 블러 유형—특히 공간에 따라 변하는 블러와 일정한 블러의 혼합 유형—을 다루기 위해.
• 기존 복원 방법에서 주요한 한계로 지적되는 블러 커널 추정이 필요 없도록 하기 위해.
• 저조도 촬영에서 쉽게 확보할 수 있는 이미지 쌍인 하나의 블러링된 이미지(저셔터 속도, 저노이즈)와 하나의 노이지한 이미지(고셔터 속도, 고노이즈)를 활용하기 위해.
• 도전적인 실제 시나리오에서 복원의 강건성과 시각적 품질을 향상시키기 위해.

제안 방법

• 블러링된 이미지를 패치로 분할하고, 각 패치의 강도 분포를 노이지 이미지에서 대응하는 패치를 기반으로 학습된 확장된 가우시안 혼합모형(GMM)을 사용하여 모델링한다.
• 블러링된 이미지와 노이지 이미지 간의 광학 흐름 추정을 통해 공간적으로 대응하는 영역 간의 패치 대응 관계를 설정한다.
• 기대값 최대화(EM) 알고리즘을 적용하여 GMM의 파라미터를 추정하며, M단계에서 이중선형 항을 통합하여 날카운 테두리와 세부 구조를 유지한다.
• 최종 복원된 이미지에 세부 정보 레이어를 추가하여 고주파 성분을 보정하고 텍스처의 정밀도를 향상시킨다.
• 이미지 쌍의 강도 분포에 대한 통계적 모델링에 의존함으로써 명시적인 블러 커널 학습을 피하는 방식이다.
• 프레임워크는 합성 및 실제 세계 데이터셋 모두에서 학습 및 평가되었으며, 코드와 데이터는 공개되었다.

실험 결과

연구 질문

• RQ1 저조도 조건에서 촬영한 블러링 및 노이지 이미지 쌍을 활용하는 커널 프리 복원 방법이 뛰어난 성능을 달성할 수 있는가?
• RQ2 노이지 이미지 패치에서 학습된 GMM 기반 패치 강도 모델이 커널 추정 없이도 복원 결과의 선명도를 효과적으로 복원할 수 있는가?
• RQ3 EM 기반 최적화 과정에 양면 필터링 항을 통합할 경우 테두리 보존과 시각적 품질 향상에 얼마나 기여하는가?
• RQ4 복합적인 실제 블러 패턴—예를 들어 공간에 따라 변하는 블러와 혼합 블러 유형—에 대해 기존의 최신 기술 대비 제안된 방법이 강건성과 정량적 지표에서 얼마나 뛰어난가?

주요 결과

• 제안된 방법은 합성 및 실제 세계 데이터셋에서 기존 최신 기술 대비 정량적 지표와 시각적 품질 모두에서 뛰어난 성능을 보였다.
• 광학 흐름에 의해 정렬된 패치를 사용한 GMM는 명시적인 커널 추정 없이도 복잡한 블러 분포를 정확히 모델링할 수 있었다.
• M단계에 양면 필터링 항을 추가함으로써 복원 결과의 테두리 보존과 선명도가 뚜렷이 향상되었다.
• 세부 정보 레이어 보정 단계는 고주파 텍스처와 세부 구조를 향상시켜 인지적 품질 향상에 기여했다.
• 이 방법은 공간에 따라 변하는 블러 및 혼합 블러 유형을 포함한 도전적인 실제 블러 패tern에 대해 강건함을 입증했다.
• 저자들은 광범위한 분석 실험과 함께 공개된 데이터셋 및 코드를 통해 방법의 효과성을 확인했다.