[논문 리뷰] Learning a Convolutional Neural Network for Non-uniform Motion Blur Removal

Jian Sun, Wenfei Cao외 2명|arXiv (Cornell University)|2015. 03. 02.

Advanced Image Processing Techniques참고 문헌 31인용 수 96

한 줄 요약

이 논문은 복합적이고 강한 비균일 운동 흐림을 처리하기 위해 복소 신경망(CNN)을 사용하여 패치 수준에서 공간적으로 변화하는 운동 흐림 커널을 추정하고, 이미지 회전 기반 커널 확장을 통해 예측을 향상시키며, 마르코프 무작위 필드(MRF) 모델을 사용해 운동의 매끄러움을 강제하는 딥러닝 프레임워크를 제안한다. 이 방법은 비균일 운동 흐림 제거에서 최신 기술 수준의 성능을 달성하며, 평균 MSE_motion은 7.83, PSNR_motion은 44.55를 기록하여 기존의 학습 기반 및 수작업 특징 기반 방법들과 비교해 복잡한 강한 비균일 흐림 케이스에서 뚜렷한 우수성을 보였다.

ABSTRACT

In this paper, we address the problem of estimating and removing non-uniform motion blur from a single blurry image. We propose a deep learning approach to predicting the probabilistic distribution of motion blur at the patch level using a convolutional neural network (CNN). We further extend the candidate set of motion kernels predicted by the CNN using carefully designed image rotations. A Markov random field model is then used to infer a dense non-uniform motion blur field enforcing motion smoothness. Finally, motion blur is removed by a non-uniform deblurring model using patch-level image prior. Experimental evaluations show that our approach can effectively estimate and remove complex non-uniform motion blur that is not handled well by previous approaches.

연구 동기 및 목표

• 기존 방법들이 여전히 어려움을 겪는 단일 흐린 이미지에서 복잡하고 강한 비균일 운동 흐림을 추정하고 제거하는 문제를 해결하기 위해.
• 기존의 수작업 특징이나 스펙트럼 분석에 의존하는 전통적 방법들이 실패하는 공간적으로 변화하는 흐림 상황에서 운동 커널 추정 정확도를 향상시키기 위해.
• 명시적인 카메라 운동 모델링이나 잠재적인 선명한 이미지 추정 없이, 국소 이미지 패치에서 직접 운동 흐림 커널을 예측하는 딥러닝 기반 접근법을 개발하기 위해.
• 이미지 회전 기법을 활용해 후보 운동 커널 세트를 확장함으로써 커널 추정의 강인성을 향상시키기 위해.
• 마르코프 무작위 필드(MRF) 모델을 사용해 이웃 영역 간의 운동 벡터 전이에서 매끄러움을 강제함으로써 추정된 흐림 필드의 공간 일관성을 확보하기 위해.

제안 방법

• 지역 이미지 특징을 입력으로 사용하여, 패치 수준에서 운동 커널의 확률 분포를 예측하도록 복소 신경망(CNN)을 훈련한다.
• 예측된 운동 커널 세트를 이미지 회전 기법을 사용해 확장하여 후보 커널의 다양성과 강인성을 높이고, 복잡한 흐림 패턴에 대한 일반화 능력을 향상시킨다.
• 이웃 영역 간의 운동 벡터 전이에서 매끄러움을 강제하기 위해, 패치 수준 예측을 조합하여 조밀하고 공간적으로 일관된 운동 흐림 필드를 생성하기 위해 마르코프 무작위 필드(MRF) 모델을 활용한다.
• 추정된 비균일 운동 흐림 필드를 패치 기반 복원 모델에 입력으로 사용하여 국소 이미지 사전 지식을 활용해 선명한 이미지를 복원한다.
• MRF 공식화는 단일항(term, CNN 예측)과 이원항(term, 매끄러움 제약)을 모두 포함하여 조밀한 운동 필드를 최적화한다.
• 최종 복원 단계에서는 추정된 운동 커널 필드를 사용해 비균일 복소화를 적용하며, 패치 수준의 이미지 통계에 의해 최적화가 이뤄진다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망은 강한 비균일 흐림을 포함한 복잡한 시나리오에서 국소 이미지 패치에서 공간적으로 변화하는 운동 흐림 커널을 효과적으로 추정할 수 있는가?
• RQ2 이미지 회전 기법을 사용해 후보 운동 커널 세트를 확장하면 운동 커널 추정 정확도는 어떻게 향상되는가?
• RQ3 MRF 모델을 통한 운동 매끄러움 강제는 추정된 비균일 흐림 필드의 품질을 어느 정도 향상시키는가?
• RQ4 제안된 CNN 기반 접근법은 실제 및 합성된 비균일 흐림 이미지에 대해 최신 기술 수준의 방법들과 비교해 운동 커널 추정 및 최종 복원 성능에서 어떤가?
• RQ5 기존의 가정(예: 전역 카메라 운동 또는 단순한 물체 운동)으로 잘 모델링되지 않는 복잡한 흐림 패턴을 처리할 수 있는가?

주요 결과

• 제안된 방법은 운동 커널 추정에서 평균 MSE_motion은 7.83, PSNR_motion은 44.55를 기록하여 BlurSpect 및 SLayerRegr와 같은 기준 방법들보다 뚜렷한 우수성을 보였다.
• 운동 매끄러움 제약 조건을 포함한 MRF 기반 융합은 CNN 전용 기준( DL_noMRF) 대비 커널 추정 정확도를 향상시켜 공간 일관성의 중요성을 입증했다.
• 이미지 회전을 통한 운동 커널 세트 확장은 특히 다양한 운동 방향과 길이에 대응하는 데 있어 성능 향상에 기여했다.
• 전체 방법(DL_MRF)은 균일 및 비균일 복원 기준 방법들과 비교해 더 뛰어난 시각적 복원 결과를 도출하였으며, 과도한 선명화가 적고 더 자연스러운 질감을 유지했다.
• 정성적 비교에서, 이는 공개된 코드가 없는 것으로 알려진 [13]보다 더 복잡한 운동 패턴을 더 잘 인식했다.
• 기준 데이터셋에서의 정량적 평가를 통해, 이 방법은 운동 커널 추정(MSE_ker) 및 최종 복원(PSNR_deblur) 모두에서 최신 기술 수준의 성능을 달성했다.