[논문 리뷰] Unsupervised Video Prediction from a Single Frame by Estimating 3D Dynamic Scene Structure

Paul Henderson, Christoph H. Lampert외 1명|arXiv (Cornell University)|2021. 06. 16.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 단일 프레임에서 3D 동적 시점 구조를 복원하여 시간적으로 일관되고 다양한 비디오 예측을 생성하는 새로운 비지도 비디오 예측 모델인 ViPL4S를 제안한다. 오직 RGB 비디오만을 사용하여 종단간(end-to-end) 학습함으로써 3D 기하학, 운동 분할, 카메라/객체 운동을 포함하는 4차원 시점 구조를 추정함으로써, 실제 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, 정량적·정성적 지표에서 기존 방법들을 능가한다.

ABSTRACT

Our goal in this work is to generate realistic videos given just one initial frame as input. Existing unsupervised approaches to this task do not consider the fact that a video typically shows a 3D environment, and that this should remain coherent from frame to frame even as the camera and objects move. We address this by developing a model that first estimates the latent 3D structure of the scene, including the segmentation of any moving objects. It then predicts future frames by simulating the object and camera dynamics, and rendering the resulting views. Importantly, it is trained end-to-end using only the unsupervised objective of predicting future frames, without any 3D information nor segmentation annotations. Experiments on two challenging datasets of natural videos show that our model can estimate 3D structure and motion segmentation from a single frame, and hence generate plausible and varied predictions.

연구 동기 및 목표

• 단일 이미지에서 지도 학습 없이 시간적으로 일관되고 다양한 비디오 예측을 생성하는 문제에 대응하기 위해.
• 실세계 비디오는 안정적인 기하학과 운동 일관성을 갖는 3D 환경를 묘사한다는 사전 지식을 활용하여, 기존 비지도 모델이 이를 활용하지 못하는 문제를 해결하기 위해.
• 3D 애너테이션 또는 지도 학습 없이도 단일 카메라 RGB 비디오에서만 3D 시점 구조와 운동 분할을 학습하기 위해.
• 미래 프레임이 일관된 4차원 시점 표현에서 렌더링되도록 보장하는 조건부 생성 모델을 개발하기 위해.

제안 방법

• 모델은 단일 입력 프레임 x₀를 조건으로 하여 미래 프레임의 불확실성을 모델링하기 위해 잠재 정규분포 변수 z를 사용하는 변동형 오토인코더(VAE) 프레임워크를 사용한다.
• 기하학, 텍스처, 운동 분할(ωⱼ), 카메라 운동(Λₜ), 객체 변환(Tₜʲ)을 분리된 저차원 잠재공간에 분리하여 표현하는 새로운 4차원 시점 표현 F를 도입한다.
• 모델은 3D 시점 렌더링을 통해 시간 t에서의 미래 프레임을 렌더링함으로써 재구성 손실을 통해 종단간으로 4차원 시점 표현을 학습한다.
• 운동 성분은 각 객체별로 분해된 변환으로 표현되어, 고밀도 광학 흐름 없이도 일관되게 움직이는 영역을 효율적으로 모델링할 수 있다.
• 모델은 3D 지도 학습, 분할 레이블, 명시적 기하학 사전 지식 없이도 픽셀 수준의 재구성 손실과 VAE 목표 함수만을 사용하여 학습된다.
• 기울기 기반 최적화를 가능하게 하기 위해, 3D 시점에서 레이를 추적하여 픽셀 강도를 계산하는 미분 가능 렌더링 파이프라인을 사용한다.

실험 결과

연구 질문

• RQ1 3D 지도 학습 없이도 단일 RGB 프레임에서 움직이는 객체 분할 및 카메라 운동을 포함한 3D 동적 시점 구조를 추론할 수 있는가?
• RQ2 명시적으로 4차원 시점 표현을 모델링함으로써 비지도 비디오 예측 모델이 더 높은 시간적 일관성과 다양성을 달성할 수 있는가?
• RQ3 3D 시점 구조를 분리된 잠재 요소로 포함시킬 경우, 직접 프레임 간 생성 방식보다 비디오 예측 품질이 향상되는가?
• RQ4 3D 데이터 애너테이션 없이도, 복잡한 카메라 운동과 동적 객체를 포함한 실제 비디오에 대해 잘 일반화되는가?

주요 결과

• ViPL4S는 Waymo 및 re-10k 데이터셋에서 최신 기술(SOTA) 방법인 SRVP보다 정량적으로 유의미하게 뛰어난 성능을 보였으며, FVD 및 KVD 점수 모두 낮았다.
• Waymo 데이터셋에서 ViPL4S는 실제 비디오 데이터 분포에 더 가까운 Fréchet Video Distance(FVD) 112.4점을 기록했으며, SRVP의 143.6점보다 우수했다.
• 정성적 예시에서 볼 수 있듯이, 지도 학습 없이도 단일 프레임에서 차량과 보행자와 같은 움직이는 객체를 성공적으로 분할하는 것을 학습했다.
• 6개 성분 버전의 ViPL4S는 4개 성분 버전보다 성능이 열 劣하므로, 성분 수가 최적 용량을 초과할 경우 최적화 과정에서 어려움과 과적합 가능성 존재를 시사한다.
• 특화된 차량 운동 버전(ViPL4S veh)이 일반 운동 모델보다 성능이 뛰어나, 유도적 편향(inductive biases)이 학습 효율성과 성능 향상에 기여함을 보여준다.
• 제한된 지도 학습 조건에도 불구하고, 모델은 자연스러운 카메라 운동과 상대적 객체 운동을 갖는 신뢰할 수 있는 비디오 클립을 생성하였으며, 기준 모델에서 관찰되는 객체 변형 또는 깜빡임과 같은 아티팩트를 피했다.