[논문 리뷰] Simultaneous Stereo Video Deblurring and Scene Flow Estimation

Liyuan Pan, Yuchao Dai외 2명|arXiv (Cornell University)|2017. 04. 11.

Advanced Image Processing Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 움직임 블러, 깊이 변화 및 복잡한 운동을 포함한 실외 환경에서의 스테레오 비디오 디블러킹과 3D 시점 흐름 추정을 동시에 수행하기 위한 공동 최적화 프레임워크를 제안한다. 조각별 평면 환경 가정을 활용하여 운동 추정과 블러 커널 모델링을 향상시킨다. 통합된 파이프라인을 통해 시점 흐름과 디블러킹이 상호 보완되도록 설계되어, 실제 실외 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 기존 단안 및 스테레오 디블러킹 방법보다 복잡한 운동과 깊이 변화를 다룰 때 뚜렷한 우월성을 보였다.

ABSTRACT

Videos for outdoor scene often show unpleasant blur effects due to the large relative motion between the camera and the dynamic objects and large depth variations. Existing works typically focus monocular video deblurring. In this paper, we propose a novel approach to deblurring from stereo videos. In particular, we exploit the piece-wise planar assumption about the scene and leverage the scene flow information to deblur the image. Unlike the existing approach [31] which used a pre-computed scene flow, we propose a single framework to jointly estimate the scene flow and deblur the image, where the motion cues from scene flow estimation and blur information could reinforce each other, and produce superior results than the conventional scene flow estimation or stereo deblurring methods. We evaluate our method extensively on two available datasets and achieve significant improvement in flow estimation and removing the blur effect over the state-of-the-art methods.

연구 동기 및 목표

• 카메라 운동, 움직이는 물체 및 깊이 변화로 인해 발생하는 실외 스테레오 비디오 시퀀스의 운동 블러 문제를 해결하기 위해.
• 기존 방법들이 디블러킹과 시점 흐름 추정을 별개의 작업으로 간주하여 오류 전파 문제가 발생하는 한계를 극복하기 위해.
• 시점 흐름 추정과 이미지 디블러킹이 상호 보완적으로 향상될 수 있도록, 공유된 운동 및 구조적 정보를 기반으로 통합된 프레임워크를 개발하기 위해.
• 조각별 평면 가정을 활용하여 공간적으로 변화하는 블러 커널을 모델링함으로써, 복잡한 동적 환경에서의 정확도를 향상시키기 위해.
• 특히 큰 운동 및 깊이 변화가 존재하는 실세계 실외 데이터셋에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 블러된 스테레오 비디오에서 잠재적인 선명한 이미지와 3D 시점 흐름을 동시에 추정하기 위한 공동 최적화 프레임워크를 수립하였다.
• 각 슈퍼픽셀 내의 픽셀들이 동일한 호모지어티를 공유하는 조각별 평면 가정을 적용하여, 광학 흐름과 블러 커널의 구조적 모델링을 가능하게 하였다.
• 시점 흐름에서 유도된 운동 정보를 활용해 공간적으로 변화하는 블러 커널을 모델링함으로써, 복잡한 운동 블러를 정확하게 표현할 수 있도록 하였다.
• 디블러킹과 시점 흐름 모두에 대한 데이터 적합성 항목과, 스무스니스 및 일관성에 대한 정규화 항목을 통합한 프레임워크를 구성하였다.
• 다중 해상도 최적화 전략을 적용하여, 여러 반복 동안 잠재 이미지, 시점 흐름, 블러 커널에 대해 번갈아 최소화를 수행하였다.
• MATLAB 프레임워크 내에서 C++ 가속을 활용한 구현을 사용하여, 단일 i7 프로세서에서 한 시나리오당 약 40분 내로 6장의 이미지를 처리하였다.

실험 결과

연구 질문

• RQ1 스테레오 디블러킹과 시점 흐름 추정을 공동으로 최적화하는 것이 순차적 또는 독립적 접근보다 더 높은 성능을 내는가?
• RQ2 조각별 평면 시점 가정을 통합할 경우, 복잡한 동적 환경에서 블러 커널 추정 및 운동 흐름 정확도가 어떻게 향상되는가?
• RQ3 청결한 이미지 추정을 사용할 경우, 블러가 존재하는 환경에서 시점 흐름 추정의 강건성이 어느 정도 향상되는가?
• RQ4 큰 운동 및 깊이 변화가 존재하는 실외 실데이터셋에서, 제안된 방법이 최신 기술 수준의 단안 및 스테레오 디블러킹 방법보다 어떻게 비교되는가?
• RQ5 디블러킹과 시점 흐름 추정 간의 상호 보완적 강화가 PSNR 및 흐름 오차 지표에서 측정 가능한 향상 효과를 가져오는가?

주요 결과

• 블러진 KITTI 데이터셋에서, 본 방법은 3프레임 기준으로 PSNR 30.71 dB를 기록하여 Sellent 등 [31]의 28.52 dB 및 Kim과 Lee [16]의 29.00 dB를 크게 앞서갔다.
• ‘Chair’ 시퀀스에서 시점 흐름 오차는 Sellent 등 [31] 대비 1.18% 감소하였으며, PSNR는 23.26 dB로 그들의 23.07 dB를 초월하였다.
• 3프레임 평균 블러가 적용된 KITTI 데이터셋에서, 본 방법은 PSNR 23.89 dB를 기록하여 Kim과 Lee [16]의 23.21 dB 및 Sellent 등 [31]의 23.31 dB를 모두 초월하였다.
• 커널 밀도 추정 결과, 본 방법은 더 무거운 尾(꼬리)를 가진 PSNR 분포를 보이며, 곤란한 시퀀스에서의 일관성 있는 성능을 나타냈다.
• 50개의 곤란한 시퀀스에서 첫 번째 반복과 마지막 반복 간에 PSNR가 0.3 dB 향상되었으며, 이는 반복적 공동 최적화의 유용성을 확인하는 데 기여하였다.
• 시각적 결과는 특히 빠르게 움직이는 물체와 카메라 운동이 존재하는 복잡한 실외 환경에서, 뛰어난 디블러킹 및 흐름 추정 성능을 보여주었다.