[논문 리뷰] Spatially-Varying Blur Detection Based on Multiscale Fused and Sorted Transform Coefficients of Gradient Magnitudes

S. Alireza Golestaneh, Lina J. Karam|arXiv (Cornell University)|2017. 03. 22.

Image Processing Techniques and Applications참고 문헌 34인용 수 9

한 줄 요약

이 논문은 고주파 다중 척도 융합 및 정렬 변환(HiFST)을 사용하여 단일 이미지에서 공간적으로 변화하는 블러를 탐지하는 새로운 방법을 제안한다. 이 방법은 블러 유형이나 카메라 설정에 관계없이 블러를 탐지할 수 있으며, 다양한 블러 유형에서 최고 수준의 성능을 달성하고 잡음 및 왜곡에 대해 뛰어난 내성성을 보인다.

ABSTRACT

The detection of spatially-varying blur without having any information about the blur type is a challenging task. In this paper, we propose a novel effective approach to address the blur detection problem from a single image without requiring any knowledge about the blur type, level, or camera settings. Our approach computes blur detection maps based on a novel High-frequency multiscale Fusion and Sort Transform (HiFST) of gradient magnitudes. The evaluations of the proposed approach on a diverse set of blurry images with different blur types, levels, and contents demonstrate that the proposed algorithm performs favorably against the state-of-the-art methods qualitatively and quantitatively.

연구 동기 및 목표

• 블러 유형, 수준, 카메라 파ameter에 대한 사전 지식 없이 단일 이미지에서 공간적으로 변화하는 블러를 탐지하는 과제를 해결하기 위해.
• 실제 환경 조건인 잡음 및 이미지 왜곡이 존재하더라도 효과적으로 작동하는 블러 탐지 방법을 개발하기 위해.
• 다양한 컴퓨터 비전 작업에 적용 가능한 강건하고 일반적인 블러 탐지 프레임워크를 구축하기 위해.
• 결함 초점 및 운동 블러에 대한 정량적 및 정성적 평가에서 기존 최고 수준의 방법을 능가하기 위해.
• 검출된 블러 맵을 활용하여 심도 영역 추정, 블러 확대, 복원 등의 실용적 응용을 가능하게 하기 위해.

제안 방법

• 입력 이미지에서 기울기 크기를 계산하여 고주파 에지 및 텍스처 정보를 캡처한다.
• 다중 해상도에서 기울기 크기에 다중 척도 이산余弦변환(DCT)을 적용하여 고주파 성분을 추출한다.
• 새로운 고주파 다중 척도 융합 및 정렬 변환(HiFST)을 도입하여 척도 간 DCT 계수를 융합하고 정렬하여 블러 민감도가 높은 고주파 에너지를 강조한다.
• 정렬 및 융합된 계수를 사용하여 높은 강도가 날카로운 영역에 해당하는 블러 탐지 맵을 생성한다.
• 고주파 성분의 통계적 성질을 활용하여 사전 블러 모델 가정 없이 블러 영역와 날카로운 영역를 구분한다.
• 이 방법은 잡음 및 JPEG 왜곡과 같은 일반적인 이미지 열화에 대해 불변성을 가지도록 설계되어 실제 환경에서의 내성성을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 블러 특성 지식 없이 다양한 블러 유형(예: 결함 초점, 운동 블러)에서 높은 정확도를 달성할 수 있는 단일 이미지 블러 탐지 방법이 가능한가?
• RQ2 제안된 HiFST 기반 방법은 실생활 이미지 열화인 잡음 및 JPEG 왜곡 상황에서 어떻게 성능을 발휘하는가?
• RQ3 검출된 블러 맵이 심도 영역 추정 및 복원과 같은 후속 비전 작업을 향상시키는 데 얼마나 효과적인가?
• RQ4 HiFST 프레임워크는 정량적 지표와 정성적 품질 모두에서 기존 최고 수준의 방법을 능가하는가?
• RQ5 이 방법은 단일 이미지만으로 카메라 초점 위치 및 초점에서의 심도를 신뢰성 있게 추정할 수 있는가?

주요 결과

• 제안된 HiFST 방법은 결함 초점 및 운동 블러 유형에서 모두 최고 수준의 성능을 달성하였으며, 정량적 지표에서 기존 방법을 능가한다.
• CSIQ 데이터베이스에서의 정성적 평가 결과, 이 방법은 평균 0인 가우시안 잡음, 적응형 잡음, JPEG 압축과 같은 다양한 왜곡에 대해 강력한 내성성을 보였다.
• 다양한 이미지 콘텐츠와 블러 수준에서 검출된 블러 맵은 지표 맵과 매우 일치하는 편이었다.
• 이 방법은 정확한 심도 영역(DOF) 추정이 가능했으며, 정규화된 블러 맵($\tilde{D}$)의 중앙값은 조리개 크기가 감소함에 따라 일관되게 증가하는 경향을 보였다(조리개 수치가 증가함).
• 블러 맵은 블러 확대, 복원, 초점에서의 심도 추정에 성공적으로 적용되어 실용적인 컴퓨터 비전 파이프라인에서의 유용성을 입증하였다.
• 렌즈, 가우시안, 레이디얼, 줌, 표면 블러와 같은 합성 블러 유형에 대해서도 이 방법은 경쟁적인 성능을 유지하여 일반화 능력을 확인하였다.