[논문 리뷰] Stochastic Video Prediction with Structure and Motion

Adil Kaan Akan, Sadra Safadoust외 1명|arXiv (Cornell University)|2022. 03. 20.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

이 논문은 주행 환경을 정적(장면 구조 및 자가 운동)과 동적(전경 물체 운동) 구성 요소로 분해하여 각각의 운동을 별도로 모델링함으로써 미래 프레임 예측 성능을 향상시키는 확률적 영상 예측 모델을 제안한다. 예측된 정적 구조에 기반해 동적 운동을 조건화함으로써, 복잡한 주행 시나리오에서 더 정확하고 다양한 예측을 달성하며, KITTI 및 Cityscapes에서 기존 방법들을 능가함과 동시에 효율적인 추론을 유지한다.

ABSTRACT

While stochastic video prediction models enable future prediction under uncertainty, they mostly fail to model the complex dynamics of real-world scenes. For example, they cannot provide reliable predictions for scenes with a moving camera and independently moving foreground objects in driving scenarios. The existing methods fail to fully capture the dynamics of the structured world by only focusing on changes in pixels. In this paper, we assume that there is an underlying process creating observations in a video and propose to factorize it into static and dynamic components. We model the static part based on the scene structure and the ego-motion of the vehicle, and the dynamic part based on the remaining motion of the dynamic objects. By learning separate distributions of changes in foreground and background, we can decompose the scene into static and dynamic parts and separately model the change in each. Our experiments demonstrate that disentangling structure and motion helps stochastic video prediction, leading to better future predictions in complex driving scenarios on two real-world driving datasets, KITTI and Cityscapes.

연구 동기 및 목표

• 이동하는 카메라와 독립적으로 움직이는 물체를 포함한 복잡한 주행 환경에서 기존의 확률적 영상 예측 모델의 한계를 해결하기 위해.
• 픽셀 수준의 변화에만 의존하는 것이 아니라, 장면 구조, 자가 운동, 물체 운동 등의 기저 요인을 명시적으로 모델링하여 미래 프레임 예측 성능을 향상시키기 위해.
• 정적 구성 요소에 기반해 동적 운동을 조건화하여 예측의 다양성과 정확성을 향상시키고, 전경 영역에서의 불확실성 모델링을 개선하기 위해.
• 실시간 자율주행 응용에 적합한 효율적인 추론을 통해 높은 성능을 달성하기 위해.

제안 방법

• 깊이, 카메라 자세, 옵티컬 플로우 예측을 이용해 영상 동역학을 정적(장면 구조 및 자가 운동)과 동적(전경 물체의 잔여 운동) 구성 요소로 분해한다.
• 예측된 깊이와 카메라 자세를 사용해 정적 부분을 모델링하며, 이를 통해 프레임을 워프하고 배경 운동을 추정한다.
• 동적 운동은 자가 운동 위에 있는 잔여 픽셀 유량으로 모델링되며, 정적 구조에 기반해 조건화되어 물체 특화된 운동을 포착한다.
• 조건부 잠재변수 모델을 사용해 정적 및 동적 구성 요소의 미래 상태를 별도로 예측한 후, 예측된 세그먼테이션 마스크를 통해 통합한다.
• 차량 운동 및 장면 기하학에 대한 도메인 지식을 활용해 일반화 능력과 불확실성 추정 성능을 향상시킨다.
• 정적 예측에 따라 동적 잠재공간이 의존할 수 있도록 조건부 아키텍처를 도입하여 운동 일관성을 향상시킨다.

Figure 1 : Future Prediction while Turning. We compare the future prediction results of previous methods ( top ) to ours ( bottom ) while the vehicle makes a right turn. While previous methods fail due to a less frequent scenario in the dataset, our method can generate a better future prediction due

실험 결과

연구 질문

• RQ1 영상 동역학을 정적 및 동적 구성 요소로 분해하는 것이 복잡한 주행 시나리오에서의 확률적 영상 예측 성능을 향상시키는가?
• RQ2 자기 운동 위에 잔여 운동으로서의 운동을 모델링하는 것이 예측 정확도와 다양성을 향상시키는가?
• RQ3 기저 장면 요인(구조, 자가 운동, 물체 운동)을 명시적으로 모델링하면 픽셀 수준의 확률적 모델링보다 더 나은 불확실성 추정이 가능한가?
• RQ4 제안된 방법은 품질과 다양성 측면에서 최첨단 모델을 능가하면서도 높은 효율성을 유지하는가?

주요 결과

• 제안된 방법은 FVD 및 LPIPS 측정치에서 KITTI 및 Cityscapes 데이터셋 모두에서 최첨단 성능을 달성하였으며, 각각 FVD 점수는 16.8과 18.5를 기록하였다.
• 모델은 더 다양하고 현실적인 예측을 생성하며, 불확실성이 전경 물체에 집중되어 있어, 기존의 균일한 불확실성 모델링과 비교해 개선된 불확실성 추정 능력을 보였다.
• 실행 시간은 효율적이며, KITTI와 Cityscapes에서 각각 10개 샘플당 1.02초 및 1.21초를 소요하여 기준 모델과 유사한 수준이며, Improved-VRNN과 같이 성능은 뛰어나지만 비용이 큰 모델보다 훨씬 빠르게 작동한다.
• 시각화 결과는 모델이 자가 운동과 전경 잔여 운동을 정확히 예측함으로써 정확한 장면 워프 및 미래 프레임 생성이 가능함을 확인했다.
• 정적 구조에 기반한 동적 운동의 조건부 모델링은 예측 성능을 향상시켜, 이전 방법이 실패하는 날카로운 커브와 같은 어려운 시나리오에서도 더 나은 일반화 성능을 보였다.
• 물체가 카메라와 독립적으로 움직일 때 특히 복잡한 동역학을 다루는 데서, 운동 유형을 명시적으로 분리함으로써 기존의 베이스라인에 비해 뛰어난 성능을 발휘했다.

Figure 2 : Overview. For predicting future frames in a video ( top ), we predict depth on each frame, and camera pose and optical flow between consecutive frames. We model the static part of the scene with depth and pose ( bottom ). Conditioned on the static part, we model the remaining motion due t