[논문 리뷰] Blind Image Deblurring: a Review

Zhengrong Xue|arXiv (Cornell University)|2022. 01. 22.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 블라인드 이미지 복소화에 대한 종합적인 리뷰를 제공하며, 문제 정의, 인간 시각 시스템의 통찰, 최적화 기반 및 학습 기반 방법, 이론적 기초를 다룹니다. 복소화 문제의 악성 불안정성과 노이즈 증폭 등의 주요 과제를 강조하고, 평가 지표와 데이터셋을 검토하며, 커널 프리 복원을 위한 다크 채널 프리오르 및 CNN, GAN과 같은 딥 러닝 모델을 포함한 최신 기법들을 논의합니다.

ABSTRACT

This is a review on blind image deblurring. First, we formulate the blind image deblurring problem and explain why it is challenging. Next, we bring some psychological and cognitive studies on the way our human vision system deblurs. Then, relying on several previous reviews, we discuss the topic of metrics and datasets, which is non-trivial to blind deblurring. Finally, we introduce some typical optimization-based methods and learning-based methods.

연구 동기 및 목표

• 블라인드 이미지 복소화 문제를 체계적으로 분석하여, 그 악성 불안정성과 알려지지 않은 블러 커널 및 노이즈로 인한 과제를 강조합니다.
• 인간 시각 시스템의 복소화에 기여하는 심리적 및 인지적 메커니즘을 탐구하여, 계산 기반 방법에 생물학적 영감을 제공합니다.
• 기존의 최적화 기반 및 학습 기반 복소화 기법을 검토하고 분류하며, 커널 추정 및 직접 이미지 복원 접근 방식을 포함합니다.
• 블라인드 복소화 연구에서 사용되는 현재 평가 지표와 데이터셋의 강점과 한계를 평가합니다.
• Levin 등 [32]의 이론적 통찰을 요약하며, 특히 블러 커널의 기본 제약 조건과 식별 가능성에 초점을 맞춥니다.

제안 방법

• 블라인드 복소화 문제를 컨볼루션 열화 모델로 수식화합니다: $ y = k \otimes x + n $, 여기서 $ k $ 는 알려지지 않은 블러 커널, $ x $ 는 잠재적인 선명한 이미지, $ n $ 은 노이즈입니다.
• 스parseness, 자연 이미지 통계, 다크 채널 프리오르 등의 프리오르를 활용하여 해의 공간을 제약하는 최적화 기반 방법을 검토합니다.
• CNN을 사용하여 블러 커널을 추정하거나(예: 패치 기반 분류, 조밀한 운동 장), 커널 추정 없이 직접 선명한 이미지를 예측하는 학습 기반 방법을 분석합니다.
• 스케일 재귀 네트워크, 에지 유지에 유용한 GAN 기반 훈련, 장거리 공간적 의존성을 포착하기 위한 하이브리드 CNN-RNN 모델과 같은 고급 아키텍처를 논의합니다.
• 최근에 제안된 극단적 채널 프리오르(대칭 밝은 채널과 다크 채널의 조합)를 소개하며, 선명한 이미지와 블러된 이미지를 구분하는 데 효과적임을 설명합니다.
• 주관적 인간 평가와 자동 평가 지표의 사용을 검토하며, 비교 분석에 활용되며, 아직 보편적으로 수용된 벤치마크가 부족하다는 점을 지적합니다.

실험 결과

연구 질문

• RQ1 왜 블라인드 이미지 복소화 문제가 심각하게 악성 불안정한 문제로 간주되며, 컨볼루션 모델에서 발생하는 기본적인 모호성은 무엇인가요?
• RQ2 운동 블러가 존재함에도 불구하고 인간 시각 시스템이 움직이는 물체를 선명하게 인식할 수 있는 심리적 및 인지적 메커니즘은 무엇인가요?
• RQ3 최적화 기반 방법은 스parse 및 다크 채널 프리오르와 같은 이미지 프리오르를 어떻게 활용하여 블러된 관측치로부터 선명한 이미지를 복원합니까?
• RQ4 딥 러닝 기반 방법은 전통적인 최적화 기법에 비해 비균일 블러 설정에서 복소화 성능을 얼마나 향상합니까?
• RQ5 현재 평가 지표와 데이터셋은 복소화 성능을 객관적으로 측정하는 데 어떤 한계를 가지고 있나요?

주요 결과

• 역 필터링 방법은 고주파에서 심한 노이즈 증폭으로 인해 실패하며, 특히 블러 커널이 클 경우 더욱 심각합니다(그림 1 참조).
• 문제가 악성 불안정한 이유는 동일한 블러 이미지 $ y $ 를 생성할 수 있는 무한히 많은 $ (x, k) $ 쌍이 존재하기 때문이며, 예를 들어 $ k $ 가 델타 함수일 경우의 자명한 해도 포함됩니다.
• Xu와 Jia [54] 는 균일 블러 복소화에서 뛰어난 성능을 보이며, Pan 등 [39] 는 실제 및 비균일 블러 설정에서 다른 방법들을 능가합니다.
• 다크 채널 프리오르는 블러된 이미지와 선명한 이미지를 효과적으로 구분합니다. 블러된 이미지에서는 국소 패치 내에서 어떤 색채널에서도 낮은 강도를 가진 픽셀이 적기 때문입니다.
• 학습 기반 방법인 Nah 등 [38] 및 Kupyn 등 [27] 은 명시적인 커널 추정 없이 직접 선명한 이미지를 복원함으로써 최신 기술 수준의 성능을 달성하며, 가장자리 유지 성능을 향상시킵니다.
• Yan 등 [56] 은 극단적 채널 프리오르를 제안하여 다크 채널과 대칭 밝은 채널 프리오르를 조합함으로써 최적화 기반 복소화에서 유망한 정성적 결과를 도출했습니다.