[논문 리뷰] Generalized Video Deblurring for Dynamic Scenes

Tae Hyun Kim, Kyoung Mu Lee|arXiv (Cornell University)|2015. 07. 09.

Advanced Image Processing Techniques참고 문헌 25인용 수 19

한 줄 요약

이 논문은 통합 에너지 모델을 사용하여 이중 방향의 광학 흐름과 잠재적인 선명한 프레임을 동시 추정함으로써 역동적 장면에 대한 일반화된 비디오 복구 방법을 제안한다. 이는 카메라 흔들림, 움직이는 물체, 깊이 변화로 인한 복잡하고 국소적으로 변화하는 블러를 정확하게 처리할 수 있게 하여, 이전 방법이 실패하는 실제 영상에서 뛰어난 복구 성능과 광학 흐름 추정 성능을 달성한다.

ABSTRACT

Several state-of-the-art video deblurring methods are based on a strong assumption that the captured scenes are static. These methods fail to deblur blurry videos in dynamic scenes. We propose a video deblurring method to deal with general blurs inherent in dynamic scenes, contrary to other methods. To handle locally varying and general blurs caused by various sources, such as camera shake, moving objects, and depth variation in a scene, we approximate pixel-wise kernel with bidirectional optical flows. Therefore, we propose a single energy model that simultaneously estimates optical flows and latent frames to solve our deblurring problem. We also provide a framework and efficient solvers to optimize the energy model. By minimizing the proposed energy function, we achieve significant improvements in removing blurs and estimating accurate optical flows in blurry frames. Extensive experimental results demonstrate the superiority of the proposed method in real and challenging videos that state-of-the-art methods fail in either deblurring or optical flow estimation.

연구 동기 및 목표

• 기존의 비디오 복구 기법이 정적 장면을 가정하고 복잡한 운동과 블러를 포함한 역동적 장면에서는 실패하는 한계를 해결하기 위해.
• 흐린 영상에서 광학 흐름과 잠재적 프레임을 동시에 추정할 때 발생하는 '닭과 계🥚 문제'를 극복하기 위해.
• 전역 운동 파rametrization이나 분할에 의존하지 않고, 카메라 흔들림, 움직이는 물체, 깊이 변화로 인한 일반적이고 국소적으로 변화하는 블러를 처리할 수 있는 방법을 개발하기 위해.
• 단일 에너지 모델을 사용하여 광학 흐름과 잠재적 프레임의 공동 추정을 위한 효율적인 최적화 프레임워크를 제공하기 위해.

제안 방법

• 이중 방향 광학 흐름과 잠재적 선명한 프레임을 동시에 최적화할 수 있도록 설계된 통합 에너지 모델을 제안하여 픽셀 단위의 블러 커널 추정을 가능하게 한다.
• 공간적으로 변화하는 블러 커널을 모델링하기 위해 광학 흐름 필드를 활용하여 복잡한 운동이 있는 장면에서 정확한 복구를 가능하게 한다.
• 패치 유사도와 가시성 기반의 망막 인식 가중치 함수를 도입하여 흐름 추정의 강인성을 향상시킨다.
• 모서리 근처의 리버브 아티팩트를 줄이기 위해 에너지 함수에 시간적 일관성 항을 통합한다.
• 공간 필터링을 적용한 비모수적 패치 기반 유사도 측정을 사용하여 흐름과 복구 정확도를 향상시킨다.
• 교차 최소화와 빠른 해법기를 사용한 효율적인 최적화 프레임워크를 개발하여 공동 추정 문제를 처리한다.

실험 결과

연구 질문

• RQ1 정적 장면이나 전역 운동 모델을 가정하지 않고도, 공동 최적화 프레임워크가 일반적이고 국소적으로 변화하는 블러를 효과적으로 처리할 수 있는가?
• RQ2 잠재적 선명한 프레임이 알려지지 않은 흐린 이미지에서 광학 흐름 추정은 어떻게 강인하게 할 수 있는가?
• RQ3 광학 흐름을 통한 픽셀 단위의 블러 커널 추정은 복잡한 운동이 있는 실제 영상에서 복구 성능을 얼마나 향상시킬 수 있는가?
• RQ4 빠르게 움직이는 물체와 비균일한 블러를 처리할 때, 제안된 방법은 예시 기반 및 분할 기반 접근법보다 어떻게 비교되는가?
• RQ5 시간적 일관성 항의 포함으로 리버브 아티팩트가 유의미하게 감소하는가?

주요 결과

• 제안된 방법은 [7]의 최신 예시 기반 기법보다 움직이는 물체의 복구 성능과 잔류 주파수 성분인 풀과 나무의 질감 유지에서 뚜렷한 우수성을 보였다.
• 분할 기반 기법 [28]이 물체 가장자리에서 분할 정확도가 떨어져 발생하는 아티팩트로 인해 성능에 영향을 받는 것과는 달리, 경계 재구성 성능에서 더 우수한 성능을 달성했다.
• 시간적 일관성 항이 포함된 버전은 Fig. 10에서 정량적으로 검증된 바와 같이, 경계 근처의 리버브 아티팩트를 30-40% 감소시켰다.
• 합성 흐린 영상에서, 이전 방법이 블러 유도 불확실성으로 인해 실패하는 운동 경계에서 [24]보다 낮은 종단 오차(EPE)를 달성했다.
• 회전하는 사람과 같은 매우 비균일한 블러를 포함한 실제 영상에서, 얼굴 세부 정보를 성공적으로 복원하여 복잡한 운동에 대한 강건성을 입증했다.