[논문 리뷰] A Survey on Image Deblurring

ChuMiao Li|arXiv (Cornell University)|2022. 01. 31.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 종합 검토는 전통적인 최적화 기반 접근법과 현대적인 딥러닝 기법을 포함한 이미지 흐림제거 방법에 대한 포괄적인 리뷰를 제공한다. 입력 유형, 블러 모델, 학습 프레임워크별로 체계적으로 방법을 분류하고, 표준 평가 지표 및 벤치마크 데이터셋을 사용하여 성능을 평가하여 연구자들이 현재의 기술 발전과 향후 방향성을 체계적으로 이해할 수 있도록 안내한다.

ABSTRACT

With the improvement of social life quality and the real needs of daily work, images are more and more all around us. Image blurring due to camera shake, human movement, etc. has become the key to affecting image quality. How to remove image blur and restore clear image has gradually become an important research direction in the field of computer vision. After more than half a century of unremitting efforts, the majority of scientific and technological workers have made fruitful progress in image deblurring. This article reviews the work of image deblurring and specifically introduces more classic image deblurring methods, which is helpful to understand current research and look forward to future trends. This article reviews the traditional image deblurring methods and depth-represented image deblurring methods, and comprehensively classifies and introduces the corresponding technical methods. This review can provide some guidance for researchers in the field of image deblurring, and at the same time facilitate their subsequent study and research.

연구 동기 및 목표

• 전통적 및 딥러닝 기반 이미지 흐림제거 방법에 대한 체계적인 개요 제공.
• 입력 유형, 블러 모델, 학습 프레임워크 기반으로 핵심 흐림제거 기법을 분류 및 분석.
• 이미지 흐림제거 평가에 널리 사용되는 주요 벤치마크 데이터셋 요약.
• 객관적 및 주관적 이미지 품질 평가 지표를 검토하고 비교.
• 연구자들이 현재의 트렌드를 이해하고 향후 연구 방향을 식별할 수 있도록 안내.

제안 방법

• 이미지 흐림제거 방법을 최적화 기반 및 딥러닝 기반 접근법으로 분류.
• 최대사후확률(MAP) 및 변동형 베이지안(VB) 추정을 통한 블러 커널 및 잠재 이미지 복원에 대한 전통적 방법 검토.
• 다중스케일 흐림제거 네트워크, GAN 기반 흐림제거, 엔드 투 엔드 이미지 복원을 위한 비지도 신경망 등 딥러닝 기반 방법 분석.
• GoPro, RealBlur, HIDE, Levin 등의 주요 데이터셋 소개 및 훈련 및 평가에 활용.
• 주관적 평가 방법(예: 단일 자극 연속 품질 평가)과 객관적 지표(MSE, PSNR, SSIM)를 활용한 이미지 품질 평가.
• 이미지 흐림 과정을 수학적 모델로 표현하기 위해 $ b = Ks + n $ 와 같은 모델을 도입하고, 흐림제거를 제약 조건이 있는 최적화 문제로 공식화.

실험 결과

연구 질문

• RQ1 입력, 블러 모델, 학습 유형 기반으로 이미지 흐림제거 방법의 주요 범주와 하위 범주들은 무엇인가?
• RQ2 MAP 및 VB와 같은 전통적인 최적화 기반 방법은 노이즈 및 블러 유형에 대해 성능 및 내성에서 어떻게 비교되는가?
• RQ3 딥러닝 기반 흐림제거 네트워크의 핵심 아키텍처 및 훈련 혁신은 무엇인가?
• RQ4 흐림제거 모델 평가에 가장 대표적인 성격을 지닌 주요 벤치마크 데이터셋은 무엇이며, 그 특성은 무엇인가?
• RQ5 PSNR 및 SSIM과 같은 객관적 지표는 인간의 주관적 인식과 얼마나 잘 상관되는가?

주요 결과

• 위너 필터링 및 총변동성과 같은 전통적 방법은 비맹 hin 흐림제거에 효과적이지만, 복잡한 실세계 블러와 노이즈에는 어려움을 겪는다.
• MAP 및 VB 방법은 자연 이미지의 사전 지식을 통합함으로써 복원 성능을 향상시키지만, 종종 전역 최적화가 어려운 비凸 최적화 문제를 야기한다.
• 딥러닝 기반 방법, 특히 엔드 투 엔드 네트워크는 대규모 데이터로부터 복잡한 블러 커널과 이미지 사전 지식을 학습함으로써 전통적 방법에 비해 뚜렷한 성능 향상을 이룬다.
• 다중스케일 흐림제거 네트워크와 GAN 기반 모델은 복원된 이미지의 미세한 디테일과 질감을 잘 유지하는 데 뛰어난 성능을 보인다.
• 비지도 신경망은 쌍화된 훈련 데이터에 대한 의존도를 줄여주어 데이터가 적은 환경에서도 흐림제거를 가능하게 한다.
• PSNR 및 SSIM은 여전히 표준 객관적 평가 지표로 사용되지만, SSIM은 구조적 유사성을 고려함으로써 PSNR보다 인간의 인식과 더 잘 상관된다.