[논문 리뷰] Blind Deblurring using Deep Learning: A Survey

Siddhant Sahu, Manoj Kumar Lenka외 1명|arXiv (Cornell University)|2019. 07. 23.

Advanced Image Processing Techniques참고 문헌 18인용 수 15

한 줄 요약

이 종합적 리뷰는 딥러닝 기반의 블라인드 디블러링 방법을 핵심 추정과 엔드 투 엔드 아키텍처로 분류하여 종합적인 분석을 제공한다. 엔드 투 엔드 모델은 명시적인 블러 커널 추정 없이 날카운 이미지를 직접 예측함으로써 잡음과 아티팩트를 줄이고 성능을 향상시켜 GOPRO 데이터셋에서 30.1 PSNR와 0.932 SSIM을 달성하여 우수한 성능을 보인다.

ABSTRACT

We inspect all the deep learning based solutions and provide holistic understanding of various architectures that have evolved over the past few years to solve blind deblurring. The introductory work used deep learning to estimate some features of the blur kernel and then moved onto predicting the blur kernel entirely, which converts the problem into non-blind deblurring. The recent state of the art techniques are end to end, i.e., they don't estimate the blur kernel rather try to estimate the latent sharp image directly from the blurred image. The benchmarking PSNR and SSIM values on standard datasets of GOPRO and Kohler using various architectures are also provided.

연구 동기 및 목표

• 최근 수년간 개발된 블라인드 이미지 디블러링을 위한 딥러닝 아키텍처에 대한 통합적 이해를 제공하기 위해.
• PSNR, SSIM, 추론 속도 측면에서 핵심 추정 기반 방법과 엔드 투 엔드 학습 접근법의 성능을 비교하기 위해.
• 디블러잉 네트워크에서 수용 영역 확장과 파rameter 효율성과 같은 아키텍처 트렌드를 분석하기 위해.
• 표준 데이터셋(GOPRO 및 Köhler)에서 최신 기술 모델을 정량적 지표를 사용해 벤치마킹하기 위해.
• 핵심 추정의 한계를 부각시키고 직접 이미지 복원의 이점을 강조함으로써 향후 연구를 이끌기 위해.

제안 방법

• 딥러닝 기반의 블라인드 디블러잉을 두 가지 주요 유형으로 분류: (1) CNN을 통한 블러 커널 추정, (2) 명시적 커널 예측 없이 엔드 투 엔드 이미지 복원.
• 특징 추출, 커널 추정, 잠재 이미지 복구 모듈을 포함한 다단계 아키텍처(예: Schuler 등)를 분석하며, 스테이지 간 잔차 연결을 적용한다.
• 푸리에 도메인 최적화를 사용하여 커널 추정 및 디블러잉 방정식을 효율적으로 해결하며, 다음 식을 사용한다: $\sum_{i}\lVert K*x_{i}-y_{i}\rVert^{2} + \beta_{k}\lVert K\rVert^{2}$ 와 $\lVert K*L-B\rVert^{2} + \beta_{x}\lVert L\rVert^{2}$.
• GAN 기반 방법(예: Kupyn 등)에서 적대적 훈련을 검토하며, 실제 이미지와 생성된 날카운 이미지 간 분포의 차이를 최소화하기 위해 WGAN 손실을 사용한다.
• 생성된 이미지의 구조적 및 픽셀 수준의 정밀도를 향상시키기 위해 인지 손실과 L1 손실을 활용한다.
• PSNR와 SSIM을 주요 평가 지표로 사용하며, PSNR는 $PSNR = \frac{m^2}{MSE}$ 로 계산하고, SSIM은 局부 평균, 분산 및 공분산 기반으로 계산한다.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 엔드 투 엔드 딥러닝 모델과 핵심 추정 기반 모델 간의 PSNR 및 SSIM 측면에서 성능 비교는 어떻게 되는가?
• RQ2 수용 영역, 스킵 연결 등 아키텍처 구성 요소 중 블라인드 디블러잉에서 성능 향상에 가장 기여하는 것은 무엇인가?
• RQ3 왜 엔드 투 엔드 모델은 핵심 추정 파이프라인보다 아티팩트를 줄이는가?
• RQ4 유사한 성능를 보일 경우, 다양한 네트워크 아키텍처 간 추론 속도는 어떻게 달라지는가?
• RQ5 인지 손실 및 적대적 손실은 PSNR/SSIM을 초월해 어떻게 시각적 품질을 향상시키는가?

주요 결과

• 엔드 투 엔드 모델은 GOPRO 데이터셋에서 최고의 PSNR(30.1)와 SSIM(0.932)를 기록하여 핵심 추정 기반 방법을 압도한다.
• Köhler 데이터셋에서는 최고 성능을 보인 모델(Ramakrishnan 등)이 27.08 PSNR와 0.751 SSIM을 기록하여 합성 카메라 흔들림에 대해 강력한 성능을 보였다.
• Kupyn 등이 개발한 모델은 GOPRO에서 28.7 PSNR와 0.958 SSIM을 기록하여 PSNR는 Tao 등보다 略로 낮지만 높은 인지 품질을 입증했다.
• Nah 등은 GOPRO에서 29.2 PSNR와 0.916 SSIM을 기록했지만 추론 시간이 가장 느렸다(4.3초), 이는 모델 크기와 속도 간의 트레이드오프를 보여준다.
• Tao 등은 GOPRO에서 30.1 PSNR를 기록했고 추론 시간은 1.6초로 성능과 효율성의 균형을 잘 유지하고 있음을 보여준다.
• 본 연구는 커널 추정 오차를 줄임으로써 복원 품질이 크게 향상됨을 확인하며, 엔드 투 엔드 학습의 우월성을 입증한다.