[논문 리뷰] Video Frame Interpolation without Temporal Priors

Youjian Zhang, Chaoyue Wang외 1명|arXiv (Cornell University)|2021. 12. 02.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 알려진 프레임 레이트나 노출 시간과 같은 시간 전제 조건이 필요하지 않은 비디오 프레임 보간 방법을 제안한다. 네 개의 연속 프레임에서 일반적인 2차 운동 궤적을 유도하고, 제2차 잔차 신경망을 사용해 선명한 핵심 상태를 복원함으로써, 다양한 카메라 설정에서도 정확한 보간을 가능하게 하며, 재학습 없이도 실제 흐린 비디오에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Video frame interpolation, which aims to synthesize non-exist intermediate frames in a video sequence, is an important research topic in computer vision. Existing video frame interpolation methods have achieved remarkable results under specific assumptions, such as instant or known exposure time. However, in complicated real-world situations, the temporal priors of videos, i.e. frames per second (FPS) and frame exposure time, may vary from different camera sensors. When test videos are taken under different exposure settings from training ones, the interpolated frames will suffer significant misalignment problems. In this work, we solve the video frame interpolation problem in a general situation, where input frames can be acquired under uncertain exposure (and interval) time. Unlike previous methods that can only be applied to a specific temporal prior, we derive a general curvilinear motion trajectory formula from four consecutive sharp frames or two consecutive blurry frames without temporal priors. Moreover, utilizing constraints within adjacent motion trajectories, we devise a novel optical flow refinement strategy for better interpolation results. Finally, experiments demonstrate that one well-trained model is enough for synthesizing high-quality slow-motion videos under complicated real-world situations. Codes are available on https://github.com/yjzhang96/UTI-VFI.

연구 동기 및 목표

• 시간 전제 조건(예: 프레임 레이트 및 노출 시간)이 알려지지 않거나 변동성이 있는 실제 시나리오에서 비디오 프레임 보간 문제를 해결하기 위해.
• 고정된 시간 가정에 의존하는 기존 방법의 한계를 극복하고, 다양한 카메라 설정에서도 성능을 유지하기 위해.
• 셔터 속도나 프레임 간격에 대한 사전 지식이 없이도, 간섭 간 및 내부 프레임 운동 흐림을 모두 처리할 수 있는 일반적인 보간 프레임워크를 개발하기 위해.
• 재학습 없이도 다양한 노출 조건에 일반화할 수 있는 단일 학습 모델을 구현하기 위해.

제안 방법

• 모델은 노출 시간이나 프레임 레이트를 알지 못하는 조건에서 네 개의 연속 프레임을 사용해 일반적인 곡선 운동 궤적을 유도한다.
• 흐린 프레임에서 선명한 시작 및 종료 상태를 복원하기 위해 제2차 잔차 핵심 상태 복원 신경망을 도입함으로써 정확한 운동 추정을 가능하게 한다.
• 일정 가속도를 가정할 때 운동을 2차 함수로 모델링함으로써, 불균일한 시간 간격 간의 보간이 가능해진다.
• 인접한 운동 궤적 간의 제약 조건을 활용해 정밀도를 향상시키는 새로운 광학 흐름 정밀화 전략을 제안한다.
• 운동 흐림과 시간 간격을 구분함으로써 간섭 간 및 내부 프레임 보간을 동시에 수행한다.
• 저프레임 레이트의 흐린 비디오에서 엔드 투 엔드로 학습된 모델은 재학습 없이 다양한 노출 설정에 일반화된다.

실험 결과

연구 질문

• RQ1 노출 시간과 프레임 간격이 다양한 카메라에서 알려지지 않거나 변동성이 있는 상황에서도 비디오 프레임 보간이 효과적으로 수행될 수 있는가?
• RQ2 프레임 레이트나 셔터 속도와 같은 시간 전제 조건이 없는 상황에서 운동 궤적을 정확히 모델링할 수 있는가?
• RQ3 재학습 없이도 다양한 노출 설정에 얼마나 잘 일반화될 수 있는가?
• RQ4 통합 프레임워크는 흐린 비디오 시퀀스에서 간섭 간 및 내부 프레임 보간을 동시에 처리할 수 있는가?
• RQ5 제안된 광학 흐름 정밀화 전략은 표준 흐름 추정에 비해 보간 품질을 얼마나 향상시키는가?

주요 결과

• GoPro-5-5 벤치마크에서 제안된 방법은 PSNR 34.37과 SSIM 0.9801을 기록하여 기준 모델 대비 PSNR 1.95 dB 향상.
• 절단 실험 결과, 제2차 잔차 신경망은 제1차 잔차 신경망 대비 약 1.5 dB의 PSNR 향상을 보였다.
• 흐름 정밀화 모듈은 정밀화 없이 학습된 모델 대비 PSNR 0.6 dB 향상시켜 효과를 입증했다.
• GoPro-7-3 및 GoPro-9-1 벤치마크에서 다양한 노출 설정에 대해 일관된 성능을 보이며 잘 일반화됨.
• 핵심 상태 복원 신경망은 흐린 프레임에서 선명한 콘텐츠를 효과적으로 복원하여 변동성이 있는 노출 조건에서도 정확한 운동 추정이 가능하다.
• 재학습 없이도 실제 흐린 비디오 데이터셋에서 최신 기술 수준의 성능을 달성하며, 시간 전제 조건이 필요하지도 않다.