[논문 리뷰] Optimizing Video Prediction via Video Frame Interpolation

Yue Wu, Qiang Wen외 1명|arXiv (Cornell University)|2022. 06. 27.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 외부 훈련 또는 추가 애너테이션 없이 미래 프레임을 예측하기 위해 미리 훈련된 미분 가능한 비디오 프레임 보간(VFI) 모델을 활용하는 최적화 기반 비디오 예측 프레임워크를 제안한다. VFI를 미분 가능한 제약 조건으로 사용하여 광학 흐름에 대한 최적화 문제로 비디오 예측을 공식화함으로써, Cityscapes, KITTI, DAVIS, Vimeo90K와 같은 다양한 데이터셋에서 학습 기반 방법보다 우수한 성능을 달성한다. 이러한 방법은 대규모 훈련 데이터나 시각적 의미 정보를 필요로 하지 않는다.

ABSTRACT

Video prediction is an extrapolation task that predicts future frames given past frames, and video frame interpolation is an interpolation task that estimates intermediate frames between two frames. We have witnessed the tremendous advancement of video frame interpolation, but the general video prediction in the wild is still an open question. Inspired by the photo-realistic results of video frame interpolation, we present a new optimization framework for video prediction via video frame interpolation, in which we solve an extrapolation problem based on an interpolation model. Our video prediction framework is based on optimization with a pretrained differentiable video frame interpolation module without the need for a training dataset, and thus there is no domain gap issue between training and test data. Also, our approach does not need any additional information such as semantic or instance maps, which makes our framework applicable to any video. Extensive experiments on the Cityscapes, KITTI, DAVIS, Middlebury, and Vimeo90K datasets show that our video prediction results are robust in general scenarios, and our approach outperforms other video prediction methods that require a large amount of training data or extra semantic information.

연구 동기 및 목표

• 대규모 훈련 데이터나 시나리오별 가정에 의존하는 기존 비디오 예측 방법의 도메인 갭과 일반화 한계를 해결하기 위해.
• 외부 훈련 없이 작동하여 훈련 데이터와 테스트 데이터 간의 도메인 이동 문제를 제거하는 비디오 예측 프레임워크를 개발하기 위해.
• 세분화, 인스턴스 또는 깊이 맵이 필요 없이 주행, 인간 운동, 애니메이션, 자연 풍경 등 어떤 시나리오에서도 비디오 예측을 가능하게 하기 위해.
• 오직 RGB 입력 프레임과 미분 가능한 VFI 모듈만을 사용하여 고품질의 사진 수준의 비디오 예측을 달성하기 위해.
• 아키텍처나 분포 제약 없이 다양한 비디오 데이터셋에서의 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 비디오 예측을 광학 흐름에 대한 최적화 문제로 공식화하고, 사전 훈련된 미분 가능한 VFI 모델(RIFE)을 미분 가능한 제약 조건으로 사용한다.
• 광학 흐름을 최소화하기 위해 이미지 수준의 재구성 손실($\mathcal{L}_{img}$)과 예측된 흐름과 VFI가 생성한 흐름 간의 일관성 손실($\mathcal{L}_{cons}$)을 최적화한다.
• 최적화 과정에서 이전 프레임의 광학 흐름($f_{t\rightarrow t-1}$)으로부터 흐름을 초기화함으로써 수렴성과 성능을 향상시킨다.
• 유효하지 않거나 흐릿한 흐름 값을 보정하기 위해 흐름 인painting 모듈을 사용하여 물체 경계나 운동 영역에서의 예측 품질을 향상시킨다.
• 입력으로 오직 RGB 프레임만을 사용하며, 세분화나 깊이 맵과 같은 추가적인 감독 정보가 필요하지 않다.
• 모든 과정이 엔드 투 엔드로 미분 가능하여, VFI 네트워크를 통해 역전파를 통해 미래 프레임 예측을 기반으로 한 기울기 최적화가 가능하다.

Figure 2 : Overview of our method. We optimize optical flow $\tilde{f}_{t+1\rightarrow t}$ by a video frame interpolation $G$ [ 11 ] . Our optimization objective is image-level distance $\mathcal{L}_{img}$ and a consistency constraint between our predicted flow $\tilde{f}_{t+1\rightarrow t}$ and the

실험 결과

연구 질문

• RQ1 사전 훈련된 VFI 모델을 사용하여 외부 훈련 데이터나 애너테이션 없이 비디오 예측을 효과적으로 최적화 문제로 재정의할 수 있는가?
• RQ2 대규모 데이터셋과 보조 감독에 의존하는 최신 학습 기반 모델과 비교해 볼 때, 최적화 기반 비디오 예측 방법의 성능는 어떠한가?
• RQ3 VFI 모델이 비디오 예측에서 일반화 능력을 향상시키고 도메인 이동을 줄이기 위해 강력한 인덕티브 바이어스로 기능할 수 있는 정도는 어느 정도인가?
• RQ4 이미지 수준의 손실, 일관성 손실, 장기 제약 조건 등의 다양한 손실 구성 요소가 예측 품질과 최적화 안정성에 미치는 영향은 어떠한가?
• RQ5 초기화 방법과 흐름 인painting의 선택이 수렴성과 예측 프레임의 시각적 정밀도에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 Cityscapes, KITTI, DAVIS, Middlebury, Vimeo90K 등 여러 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 대규모 훈련 데이터나 세분화 애너테이션을 필요로 하는 방법들을 능가한다.
• Cityscapes 데이터셋에서 RIFE를 VFI 백본으로 사용할 경우, 다음 프레임 예측에서 MS-SSIM가 0.9454에 도달하여 기준 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 복잡한 운동 시나리오인 인간 운동과 동적인 장면에서도 헤어와 물체 경계와 같은 날카운 세부 정보를 포함한 고해상도 예측을 생성한다.
• 절단 실험 결과, $\mathcal{L}_{img}$와 $\mathcal{L}_{cons}$ 손실의 조합이 가장 우수한 결과를 낸다. 이는 $\mathcal{L}_{img}$가 $\mathcal{L}_{interp}$보다 더 강력한 감독을 제공함을 확인한다.
• 최적화는 첫 400 반복 이내에 빠르게 수렴하며, 이후에도 3000 반복 이후까지 점진적으로 성능 향상을 보이며 안정적이고 점진적인 개선이 이루어짐을 시사한다.
• YouTube의 실생활 영상과 BAIR Pushing, Penn Action와 같은 다양한 데이터셋에서도 잘 일반화되며, 미세조정 없이도 다양한 도메인에서 강건함을 입증한다.

Figure 3 : Multi-frame prediction comparison on KITTI. As the pink boxes show, DVF [ 20 ] fails to separate the motion of the blue car from the background and produces a “zooming-in” effect, which is the major motion exhibited in the dataset, caused by the forward movement of the running car. FVS [