[論文レビュー] Unsupervised Video Prediction from a Single Frame by Estimating 3D Dynamic Scene Structure

Paul Henderson, Christoph H. Lampert+1 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、1枚のフレームから3次元動的シーン構造を再構築することで、時間的に整合的で多様な動画予測を生成する、新しい教師なし動画予測モデルであるViPL4Sを提案する。RGB動画のみを用いたエンドツーエンド学習により、3次元幾何構造、動きセグメンテーション、カメラ／オブジェクトの運動を含む4次元シーン構造を推定することで、実世界のデータセットにおいて最先端の性能を達成し、定量的・定性的な指標の両面で先行手法を上回った。

ABSTRACT

Our goal in this work is to generate realistic videos given just one initial frame as input. Existing unsupervised approaches to this task do not consider the fact that a video typically shows a 3D environment, and that this should remain coherent from frame to frame even as the camera and objects move. We address this by developing a model that first estimates the latent 3D structure of the scene, including the segmentation of any moving objects. It then predicts future frames by simulating the object and camera dynamics, and rendering the resulting views. Importantly, it is trained end-to-end using only the unsupervised objective of predicting future frames, without any 3D information nor segmentation annotations. Experiments on two challenging datasets of natural videos show that our model can estimate 3D structure and motion segmentation from a single frame, and hence generate plausible and varied predictions.

研究の動機と目的

• 教師なし条件下で1枚の画像から時間的に整合的で多様な動画予測を生成するという課題に取り組む。
• 現実の動画は安定した幾何構造と動きの整合性を持つ3次元環境を描写しているという事前知識を活用するが、既存の教師なしモデルはこれを十分に活用できていない。
• 3次元アノテーションや教師信号を一切用いずに、単一のモノクローラルRGB動画から3次元シーン構造と動きセグメンテーションを学習する。
• 将来のフレームが一貫した4次元シーン表現からレンダリングされるように保証する条件付き生成モデルを開発し、時間的整合性を向上させる。

提案手法

• モデルは、1枚の入力フレームx₀を条件として、将来のフレームにおける不確実性を表す潜在ガウス変数zを用いた変分オートエンコーダ（VAE）フレームワークを採用する。
• 幾何構造、テクスチャ、動きセグメンテーション（ωⱼ）、カメラ運動（Λₜ）、オブジェクト変換（Tₜʲ）を分離可能な低次元潜在空間に因子分解した、新規の4次元シーン表現Fを導入する。
• モデルは再構成損失を用いてエンドツーエンドで4次元シーン表現を学習し、微分可能ニューラルレンダリングを用いて時間tにおけるシーンをレンダリングすることで将来のフレームを予測する。
• 動き成分は各オブジェクトごとの因子分解された変換で表現され、密なオプティカルフローを必要とせずに、整合的に動く領域を効率的にモデル化できる。
• 3次元の教師信号、セグメンテーションラベル、明示的な幾何的事前知識を一切使用せず、ピクセルレベルの再構成損失とVAE目的関数のみで学習を行う。
• 微分可能なレンダリングパイプラインにより、3次元シーンを通過する光線をトレースすることでピクセル強度を計算し、シーンの幾何構造と運動の勾配ベース最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 3次元の教師信号を一切用いずに、1枚のRGBフレームから3次元動的シーン構造（移動オブジェクトのセグメンテーションとカメラ運動を含む）を推定できるか？
• RQ2 明示的に4次元シーン表現をモデル化することで、教師なし動画予測モデルがより高い時間的整合性と多様性を達成できるか？
• RQ3 3次元シーン構造を分離可能な潜在要因として組み込むことで、直接フレーム間生成と比較して動画予測の品質が向上するか？
• RQ4 3次元データのアノテーションが存在しない実世界の動画（複雑なカメラ運動と動的オブジェクトを含む）に対して、このようなモデルはどれほど一般化性能を発揮できるか？

主な発見

• ViPL4Sは、Waymoおよびre-10kデータセットの両方で、最先端の手法SRVPと比較して顕著に優れた定量的性能を達成し、FVDおよびKVDスコアが低かった。
• Waymoデータセットでは、Fréchet Video Distance（FVD）が112.4にまで低下したのに対し、SRVPは143.6であった。これは、実動画データの分布に近いことを示している。
• 定量的例では、教師なし条件下でも車両や歩行者といった移動オブジェクトを正しくセグメンテーションしていることが確認された。
• 6成分バージョンのViPL4Sは4成分バージョンに比べて性能が劣っており、最適な容量を超えると最適化の困難さや過学習が生じる可能性を示唆している。
• 車両運動に特化したバージョン（ViPL4S veh）は一般動的モデルを上回る性能を示しており、インダクティブバイアスが学習効率と性能向上に寄与していることが示された。
• 限られた教師信号のもとでも、現実的で整合的なカメラ運動と相対的なオブジェクト運動を持つ動画クリップを生成でき、ベースラインモデルで見られるオブジェクトの変形やフレイキングなどのアーチファクトを回避した。