[논문 리뷰] Flow-Grounded Spatial-Temporal Video Prediction from Still Images

Yijun Li, Fang Chen외 4명|arXiv (Cornell University)|2018. 07. 25.

Advanced Vision and Imaging참고 문헌 36인용 수 11

한 줄 요약

이 논문은 3차원 조건부 변분 자동차량(3D-cVAE)을 사용해 단일 정적 이미지에서 다단계 광학 흐름을 확률적 잠재공간에서 예측한 후, 이러한 흐름을 기반으로 생성 모델을 통해 픽셀 수준의 프레임을 합성함으로써 한 장의 이미지에서 다수의 미래 프레임을 생성하는 이단계 비디오 예측 프레임워크를 제안한다. 이 방법은 실제 비디오 시퀀스의 데이터 다양성을 유지하고 불확실성을 모델링함으로써 품질, 다양성, 인지적 현실감에서 뛰어난 성능을 달성한다.

ABSTRACT

Existing video prediction methods mainly rely on observing multiple historical frames or focus on predicting the next one-frame. In this work, we study the problem of generating consecutive multiple future frames by observing one single still image only. We formulate the multi-frame prediction task as a multiple time step flow (multi-flow) prediction phase followed by a flow-to-frame synthesis phase. The multi-flow prediction is modeled in a variational probabilistic manner with spatial-temporal relationships learned through 3D convolutions. The flow-to-frame synthesis is modeled as a generative process in order to keep the predicted results lying closer to the manifold shape of real video sequence. Such a two-phase design prevents the model from directly looking at the high-dimensional pixel space of the frame sequence and is demonstrated to be more effective in predicting better and diverse results. Extensive experimental results on videos with different types of motion show that the proposed algorithm performs favorably against existing methods in terms of quality, diversity and human perceptual evaluation.

연구 동기 및 목표

• 단일 정적 이미지에서 운동 신호가 없고 불확실성이 높은 환경에서 다수의 미래 비디오 프레임을 예측하는 문제를 해결하기 위해.
• 변분 추론을 사용한 3D-cVAE를 통해 미래 운동의 시간적 및 공간적 의존성을 모델링하기 위해.
• 예측된 광학 흐름에 기반해 생성된 흐름을 바탕으로 실제적이고 다양한, 인지적으로 타당한 비디오 시퀀스를 생성하기 위해.
• 인간 동작을 초월해 구름, 유체와 같은 동적 무늬까지 일반화 능력을 향상시키기 위해.
• 흐름 예측과 프레임 생성을 분리함으로써 예측의 품질과 다양성이 향상됨을 입증하기 위해.

제안 방법

• 3D 컨볼루션을 통해 공간-시간 상관관계를 포착함으로써, 3D 조건부 변분 자동차량(3D-cVAE)을 사용해 확률적 잠재공간에서 다단계 광학 흐름 예측을 모델링한다.
• 단일 이미지에서 운동 흐름을 추론하기 위해 3D 인코더와 디코더를 갖춘 조건부 VAE를 활용함으로써, 다양한 예측을 위한 확률적 샘플링을 가능하게 한다.
• 예측된 흐름을 기반으로 픽셀 수준의 프레임을 합성하는 흐름에서 프레임으로의 생성 모델(FLOW2RGB)을 도입하여, 왜곡 기반 접근에 의존하지 않고 새로운 외관 생성이 가능하게 한다.
• 고차원의 프레임 예측 작업을 두 단계로 분해함: 먼저 흐름 예측, 그 다음 흐름 기반의 프레임 합성. 이로 인해 분포 이탈을 줄이고 다양성 유지에 기여한다.
• VGG-19 특징과 t-SNE를 사용해 생성된 시퀀스의 분포를 시각화하고 평가함으로써 다양성과 현실감을 확인한다.
• 인지적 지표와 인간 평가를 활용해 베이스라인과 비교하며, N(0,1)에서 샘플링된 노이즈 입력을 사용해 불확실성 모델링 능력을 평가한다.

실험 결과

연구 질문

• RQ1 단일 이미지 기반 비디오 예측 모델이 운동에 대한 불확실성을 모델링함으로써 다양한 현실적인 미래 프레임 시퀀스를 생성할 수 있는가?
• RQ2 흐름 예측과 프레임 생성을 분리함으로써 생성된 비디오 시퀀스의 품질과 다양성이 향상되는가?
• RQ3 제안된 방법은 인간의 운동(예: 인간)과 동적 무늬(예: 구름) 모두에 대해 얼마나 잘 일반화되는가?
• RQ4 랜덤 또는 결정적 베이스라인 대비 실제 비디오 시퀀스의 데이터 다양성을 얼마나 잘 유지하는가?
• RQ5 확률적 샘플링 하에서 이전 작업 대비 인지적 품질과 다양성 측면에서 모델의 성능은 어떠한가?

주요 결과

• 정량적 지표와 인간 평가를 통해, 제안된 방법이 이전 방법보다 더 다양하고 인지적으로 현실적인 미래 비디오 시퀀스를 생성함을 확인하였다.
• 확률적 샘플링 하에서 모델 예측의 다양성이 높아졌으며, t-SNE 상에서 생성된 시퀀스가 더 넓게 산포되어 실제값에 가까워 보였다.
• 인지 유사도 점수는 다양한 노이즈 입력 조건에서도 제안된 방법이 모든 시간 단계에서 실제값과 높은 유사도를 유지함을 보여주었다.
• 흐름에서 프레임으로의 생성 모델(FLOW2RGB)은 새로운 외관을 상상하고 가림을 처리함으로써 실제적인 프레임을 성공적으로 합성하였으며, 직접 왜곡에 의존함으로써 발생하는 실패를 방지하였다.
• 흐름 예측 후 흐름 기반의 프레임 합성으로 구성된 이단계 설계는 모델이 비현실적인 비디오 다양성으로 벗어나지 않도록 하여 전체적인 정밀도를 향상시켰다.
• 감도 분석과 특징 공간 내 분포 분석을 통해, [8]보다 인지적 품질과 다양성에서 뛰어난 성능을 보였으며, 인지 지표의 변동성이 낮고 예측의 분포가 더 넓게 퍼져 있었다.