[논문 리뷰] Dynamic Scene Deblurring using a Locally Adaptive Linear Blur Model

Tae Hyun Kim, Seungjun Nah외 1명|arXiv (Cornell University)|2016. 03. 14.

Advanced Image Processing Techniques참고 문헌 36인용 수 16

한 줄 요약

이 논문은 움직임, 카메라 흔들림, 깊이 변화 및 부초점 흐림을 포함한 비균일 흐림을 다루기 위해 국소적으로 적응적인 선형 흐림 모델을 사용하여 이중 방향 광학 흐름, 부초점 흐림 맵, 잠재적 선명한 프레임을 동시에 추정하는 동적 장면 복원 방법을 제안한다. 효율적인 솔버를 갖춘 통합된 에너지 최소화 프레임워크로 공식화함으로써, 새로 제안된 기준 데이터셋에서 실세계 동적 영상에 대해 우수한 복원 성능과 광학 흐름 추정 성능을 달성하였으며, 정량적·정성적 평가에서 최신 기술들을 능가한다.

ABSTRACT

State-of-the-art video deblurring methods cannot handle blurry videos recorded in dynamic scenes, since they are built under a strong assumption that the captured scenes are static. Contrary to the existing methods, we propose a video deblurring algorithm that can deal with general blurs inherent in dynamic scenes. To handle general and locally varying blurs caused by various sources, such as moving objects, camera shake, depth variation, and defocus, we estimate pixel-wise non-uniform blur kernels. We infer bidirectional optical flows to handle motion blurs, and also estimate Gaussian blur maps to remove optical blur from defocus in our new blur model. Therefore, we propose a single energy model that jointly estimates optical flows, defocus blur maps and latent frames. We also provide a framework and efficient solvers to minimize the proposed energy model. By optimizing the energy model, we achieve significant improvements in removing general blurs, estimating optical flows, and extending depth-of-field in blurry frames. Moreover, in this work, to evaluate the performance of non-uniform deblurring methods objectively, we have constructed a new realistic dataset with ground truths. In addition, extensive experimental on publicly available challenging video data demonstrate that the proposed method produces qualitatively superior performance than the state-of-the-art methods which often fail in either deblurring or optical flow estimation.

연구 동기 및 목표

• 정적 장면을 가정하는 기존 영상 복원 기법의 한계를 해결하고, 복잡한 비균일 흐림을 동반한 동적 장면에서 실패하는 문제를 해결한다.
• 움직임과 부초점 흐림을 동시에 다룰 수 있도록 광학 흐름, 부초점 흐림 맵, 잠재적 선명한 프레임을 동시에 추정하는 통합 모델을 개발한다.
• 비균일 복원 기법의 객관적 평가를 위해 지상 진실 데이터를 갖춘 현실적인 공개 기준 데이터셋을 구축한다.
• 이전 기법이 흐림 가정에 의해 실패하는 움직임 경계에서 광학 흐름 추정 정확도를 향상시킨다.
• 에너지 모델에 시간적 일관성 항을 통합하여 리딩 아티팩트를 감소시키고 가장자리 보존을 향상시킨다.

제안 방법

• 이 방법은 움직임 흐림(이중 방향 광학 흐름을 통해)과 부초점 흐림(가우시안 흐림 맵을 통해)의 픽셀 단위 조합으로 흐림을 모델링하여, 복잡한 흐림 패턴에 대한 국소적 적응성을 가능하게 한다.
• 잠재적 프레임, 광학 흐름, 부초점 흐림 맵을 동시에 최적화하는 단일 에너지 함수를 제안하며, 데이터 적합성, 부드러움, 시간적 일관성 항을 포함한다.
• 에너지 함수에는 프레임 간 일관성을 강제하여 가장자리 근처의 리딩 아티팩트를 감소시키는 시간적 일관성 항이 포함되어 있다.
• 대규모 비볼록 최적화 문제를 해결하기 위해 이중 방향 다변수 방법(ADMM)을 활용한 효율적인 최적화 프레임워크를 개발하였다.
• 이중 방향 광학 흐름 추정을 사용하여 움직임 흐림 커널을 모델링함으로써, 복잡한 비균일 물체 운동을 정확하게 표현할 수 있다.
• 부초점 흐림 맵은 공간적으로 변화하는 가우시안 커널로 추정되어 장면 전반의 깊이 유도 흐림 변화를 포괄한다.

실험 결과

연구 질문

• RQ1 통합 모델이 동적 장면의 비균일 흐림을 효과적으로 다루기 위해 광학 흐름, 부초점 흐림 맵, 잠재적 프레임을 동시에 추정할 수 있는가?
• RQ2 제안된 국소 적응형 흐림 모델이 복잡한 운동 및 부초점 흐림을 다룰 때 균일하거나 파rametric 흐림 모델보다 어떻게 우월한가?
• RQ3 시간적 일관성 항의 포함이 복원 결과에서 가장자리 보존을 향상시키고 리딩 아티팩트를 감소시키는 데 어느 정도 기여하는가?
• RQ4 대규모 물체 이동과 카메라 흔들림을 수반하는 실세계 동적 영상에서, 제안된 방법은 최신의 예시 기반 및 세그멘테이션 기반 방법들과 비교해 어떻게 성능을 발휘하는가?
• RQ5 지상 진실 데이터를 갖춘 새로운 기준 데이터셋이 비균일 복원 알고리즘의 더 신뢰성 있고 객관적인 평가를 가능하게 하는가?

주요 결과

• 제안된 방법은 실세계 동적 영상에서 뛰어난 복원 성능을 달성하였으며, 이전 기법이 실패하는 고속 이동 물체와 복잡한 운동 경계에서 특히 뛰어난 성능을 보였다.
• 움직임 경계에서 광학 흐름 추정 정확도가 크게 향상되었으며, 이는 흐림 일관성 가정에 실패하는 [30]을 능가하였다.
• 시간적 일관성 항의 포함으로 리딩 아티팩트가 감소하고 가장자리 선명도가 향상되었으며, 항이 포함된 경우와 없는 경우의 정량적 비교에서 이를 확인할 수 있었다.
• 신규로 구축된 기준 데이터셋에서, 이 방법은 움직임, 부초점, 그 조합을 포함한 다양한 흐림 유형에 대해 강력한 성능을 보였다.
• 예시 기반 [18] 및 세그멘테이션 기반 [15] 최신 기술보다 움직이는 물체의 복원 성능과 풀잎, 나무와 같은 중주파수 텍스처의 보존에서 뛰어난 성능을 보였다.
• 회전 운동을 수반하는 영상에서 매우 비균일하게 흐릿한 얼굴을 성공적으로 복원하여, 복잡한 흐림 패턴에 대한 능력을 입증하였다.