[論文レビュー] Stochastic Video Prediction with Structure and Motion

Adil Kaan Akan, Sadra Safadoust+1 more|arXiv (Cornell University)|Mar 20, 2022

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

本論文では、走行シーンを静的（シーン構造と自車運動）および動的（前面物体の運動）成分に分解し、それぞれの運動を別々にモデル化することで、将来のフレーム予測を向上させる確率的動画予測モデルを提案する。動的運動を予測された静的構造に条件づけることで、複雑な走行シナリオにおいてより正確で多様な予測が可能となり、KITTIおよびCityscapesのベンチマークで先行手法を上回り、効率的な推論を維持している。

ABSTRACT

While stochastic video prediction models enable future prediction under uncertainty, they mostly fail to model the complex dynamics of real-world scenes. For example, they cannot provide reliable predictions for scenes with a moving camera and independently moving foreground objects in driving scenarios. The existing methods fail to fully capture the dynamics of the structured world by only focusing on changes in pixels. In this paper, we assume that there is an underlying process creating observations in a video and propose to factorize it into static and dynamic components. We model the static part based on the scene structure and the ego-motion of the vehicle, and the dynamic part based on the remaining motion of the dynamic objects. By learning separate distributions of changes in foreground and background, we can decompose the scene into static and dynamic parts and separately model the change in each. Our experiments demonstrate that disentangling structure and motion helps stochastic video prediction, leading to better future predictions in complex driving scenarios on two real-world driving datasets, KITTI and Cityscapes.

研究の動機と目的

• 複雑な走行シーンに伴う移動するカメラと独立して動く物体を扱う際、従来の確率的動画予測モデルの限界を克服すること。
• ピクセルレベルの変化に依存するのではなく、シーン構造、自車運動、物体運動といった潜在要因を明示的にモデル化することで、将来フレームの予測を改善すること。
• 静的成分の予測に条件づけた動的運動のモデル化により、前方領域における不確実性の推定を向上させ、予測の多様性と正確性を向上させること。
• リアルタイムの自律走行アプリケーションに適した、高効率な推論を実現すること。

提案手法

• 深度、カメラポーズ、オプティカルフローの予測を用いて、動画のダイナミクスを静的（シーン構造と自車運動）および動的（前面物体の残差運動）成分に因子分解する。
• 予測された深度とカメラポーズを用いて静的部分をモデル化し、フレームのワープと背景運動の推定に使用する。
• 動的運動は、自車運動の上にのる残差フローとしてモデル化され、静的構造の予測に条件づけられて物体固有の運動を捉える。
• 条件付き潜在変数モデルを用いて、静的および動的成分の将来状態を別々に予測し、予測されたセグメンテーションマスクを介して統合する。
• 車両運動およびシーンジオメトリのドメイン知識を活用することで、一般化性能と不確実性推定の向上を図る。
• 動的潜在空間が静的予測に依存する条件付きアーキテクチャを採用し、運動の一貫性を向上させる。

Figure 1 : Future Prediction while Turning. We compare the future prediction results of previous methods ( top ) to ours ( bottom ) while the vehicle makes a right turn. While previous methods fail due to a less frequent scenario in the dataset, our method can generate a better future prediction due

実験結果

リサーチクエスチョン

• RQ1 動画ダイナミクスを静的および動的成分に分解することで、複雑な走行シナリオにおける確率的動画予測が向上するか？
• RQ2 自車運動の上に残差として運動をモデル化することで、予測の正確性と多様性がどのように向上するか？
• RQ3 シーン要因（構造、自車運動、物体運動）を明示的にモデル化することで、ピクセルレベルの確率的モデル化に比べて不確実性推定が改善されるか？
• RQ4 提案手法は、品質および多様性の両面で最先端モデルを上回る性能を維持しながら、高い効率性を保っているか？

主な発見

• 本手法は、FVDおよびLPIPSの指標において、KITTIおよびCityscapesの両データセットで最先端の性能を達成し、それぞれFVDスコアは16.8および18.5を記録した。
• モデルはより多様で現実的な予測を生成し、不確実性が前面物体に集中していることが示された—これは、ベースラインの均一な不確実性と比較して、不確実性推定の向上を示している。
• 実行時間は効率的で、KITTIでは10サンプルあたり1.02秒、Cityscapesでは1.21秒であり、ベースラインモデルと同等の速度であり、Improved-VRNNのような高性能だが高コストなモデルに比べて顕著に高速であった。
• 可視化結果から、モデルが自車運動および残差前面物体運動を正しく予測しており、正確なシーンワープと将来フレーム生成を可能としていることが確認された。
• 静的構造に条件づけた動的運動の条件付きモデル化により、急ハンドルのシナリオなど、従来手法が失敗するような困難な状況でもより良い一般化性能を示した。
• 物体がカメラとは独立して動く状況において、運動タイプの明示的分離により、複雑なダイナミクスを扱う能力がベースラインを上回った。

Figure 2 : Overview. For predicting future frames in a video ( top ), we predict depth on each frame, and camera pose and optical flow between consecutive frames. We model the static part of the scene with depth and pose ( bottom ). Conditioned on the static part, we model the remaining motion due t