[논문 리뷰] Recent Progress in Image Deblurring

Ruxin Wang, Dacheng Tao|arXiv (Cornell University)|2014. 09. 24.

Advanced Image Processing Techniques참고 문헌 185인용 수 81

한 줄 요약

이 논문은 최근 이미지 복소화 기법의 발전을 종합적으로 검토하며, 부정확한 문제 해결 방식에 따라 방법을 분류한다—베이지안 추론, 변분 방법, 희소 표현, 동치성 기반 모델링, 영역 기반 방법. 데이터 기반 사전 지식, 국소가 아닌 전역 전략, 고수준 비전 작업 통합 등이 빈도 높고 공간적으로 변형된 복소화 상황에서 성능 향상에 핵심적인 역할을 한다는 점을 강조한다.

ABSTRACT

This paper comprehensively reviews the recent development of image deblurring, including non-blind/blind, spatially invariant/variant deblurring techniques. Indeed, these techniques share the same objective of inferring a latent sharp image from one or several corresponding blurry images, while the blind deblurring techniques are also required to derive an accurate blur kernel. Considering the critical role of image restoration in modern imaging systems to provide high-quality images under complex environments such as motion, undesirable lighting conditions, and imperfect system components, image deblurring has attracted growing attention in recent years. From the viewpoint of how to handle the ill-posedness which is a crucial issue in deblurring tasks, existing methods can be grouped into five categories: Bayesian inference framework, variational methods, sparse representation-based methods, homography-based modeling, and region-based methods. In spite of achieving a certain level of development, image deblurring, especially the blind case, is limited in its success by complex application conditions which make the blur kernel hard to obtain and be spatially variant. We provide a holistic understanding and deep insight into image deblurring in this review. An analysis of the empirical evidence for representative methods, practical issues, as well as a discussion of promising future directions are also presented.

연구 동기 및 목표

• 비맹맹성 및 맹맹성 복소화에서의 문제를 다루며, 최근 이미지 복소화 분야의 전반적인 진전을 이해하는 데 목적이 있다.
• 공간적으로 변형된 블러, 노이즈, 제한된 이미지 크기 등 복잡한 실세계 조건에서 기존 방법의 한계를 분석하는 데 목적이 있다.
• 학습 기반 사전 지식, 하드웨어 통합, 고수준 비전 작업과의 공동 최적화 등 유망한 미래 방향을 식별하고 논의하는 데 목적이 있다.
• 베이지안, 변분, 희소 표현, 동치성 기반, 영역 기반 모델링의 다섯 가지 주요 방법론 프레임워크를 효과성과 가정 기반으로 비교·분석하는 데 목적이 있다.
• 특히 맹맹성 설정에서 안정적이고 정확한 복소화 결과를 얻기 위해 사전 선택과 정규화의 중요성을 강조하는 데 목적이 있다.

제안 방법

• 부정확한 문제 해결 방식에 따라 이미지 복소화 방법을 다섯 가지 핵심 프레임워크로 분류한다—베이지안 추론, 변분 방법, 희소 표현, 동치성 기반 모델링, 영역 기반 방법.
• 맹맹성 복소화에서 커널 추정을 안정화하기 위해 희소 기울기 사전 지식을 기반으로 한 MAP 추정을 사용하며, 변분 베이지안 방법을 통해 강력한 커널 복원을 가능하게 한다.
• 목표 블러 이미지에서 유도된 데이터 기반 사전 지식(온라인) 또는 외부 선명한 이미지 데이터셋에서 유도된 사전 지식(오프라인)을 도입하여 성능과 효율성의 균형을 이룬다.
• 국소적 스무딩을 유지하면서 반복적인 이미지 패턴을 활용하기 위해 국소 전략과 비국소 전략을 융합하여 복원 품질을 향상시킨다.
• 이미지 복소화를 고수준 비전 작업(예: 분류, 검출)과 통합하여 인간이 제공한 신호를 활용하고 정보 부족 상황에서 복소화 성능을 향상시킨다.
• 구조적 이미지 재현성을 향상시켜 복소화 성능을 향상시키기 위해 합성 및 분석 연산자(예: BM3D)를 활용한다.

실험 결과

연구 질문

• RQ1 비맹맹성 및 맹맹성 상황에서 이미지 복소화의 모호한 문제를 효과적으로 완화할 수 있는 방법은 무엇인가?
• RQ2 데이터 기반 사전 지식은 맹맹성 복소화에서 커널 추정 및 이미지 복원 성능 향상에 어떤 역할을 하는가?
• RQ3 왜 국소 전략과 비국소 전략의 조합이 각각 단독으로 사용할 때보다 복소화 작업에서 더 효과적인가?
• RQ4 이미지 정보가 제한된 상황에서 고수준 비전 작업과 복소화를 공동 최적화하면 성능 향상에 어떻게 기여하는가?
• RQ5 현재의 공간적으로 변형된 복소화 방법의 한계는 무엇이며, 물리적 운동 모델은 그 성능 향상에 어떻게 기여할 수 있는가?

주요 결과

• 이미지 크기가 충분히 클 경우, 희소 기울기 사전 지식 기반의 MAPh 추정기는 맹맹성 균일 복소화에서 진짜 블러 커널을 정확하게 근사할 수 있다.
• 실세계 응용에서 이미지 크기가 제한된 상황에서 정확한 커널 추정을 위해서는 적절한 사전 선택—예를 들어 가우시안 척도 혼합(GSM)—이 필수적이다.
• 외부 선명한 이미지 데이터셋에서 유도된 데이터 기반 사전 지식는 이미지 고유의 사전 지식에 비해 성능 저하가 약간 있을 뿐이지만, 매우 높은 효율성으로 복소화를 가능하게 한다.
• 합성 및 분석 연산자(예: BM3D)의 조합은 구조적 이미지 표현을 향상시켜 복소화 성능을 크게 향상시킨다.
• 비국소 전략은 이미지의 반복성을 효과적으로 활용하지만, 국소 방법과의 통합을 통해 국소 스무딩 손실을 방지하고 전체 품질을 향상시킨다.
• 고수준 비전 작업(예: 분류)과 복소화를 공동 최적화하면 인간이 제공한 신호를 활용해 성능 향상을 이룰 수 있으며, 특히 데이터 부족 상황에서 유의미한 성과를 낸다.