[論文レビュー] Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis

Jonathon Luiten, Georgios Kopanas+2 more|arXiv (Cornell University)|Aug 18, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、動的シーンにおける同時6自由度の高密度トラッキングと写真並みの新規ビュー合成を実現する新規手法、Dynamic 3D Gaussiansを提案する。シーン要因を固定色・透過度・サイズを有する、移動・回転・持続的である3次元ガウス分布としてモデル化することで、微分可能レンダリングと局所剛性・等長性といった物理的事前知識を活用し、オプティカルフロー や対応関係の入力を必要とせずに、正確なメトリックトラッキング（平均3次元誤差2.21cm）とリアルタイムレンダリング（850FPS）を実現する。

ABSTRACT

We present a method that simultaneously addresses the tasks of dynamic scene novel-view synthesis and six degree-of-freedom (6-DOF) tracking of all dense scene elements. We follow an analysis-by-synthesis framework, inspired by recent work that models scenes as a collection of 3D Gaussians which are optimized to reconstruct input images via differentiable rendering. To model dynamic scenes, we allow Gaussians to move and rotate over time while enforcing that they have persistent color, opacity, and size. By regularizing Gaussians' motion and rotation with local-rigidity constraints, we show that our Dynamic 3D Gaussians correctly model the same area of physical space over time, including the rotation of that space. Dense 6-DOF tracking and dynamic reconstruction emerges naturally from persistent dynamic view synthesis, without requiring any correspondence or flow as input. We demonstrate a large number of downstream applications enabled by our representation, including first-person view synthesis, dynamic compositional scene synthesis, and 4D video editing.

研究の動機と目的

• オプティカルフロー や対応関係の入力を必要とせずに、動的シーンにおけるすべてのシーン要因の高密度的・長期的6自由度トラッキングを可能にすること。
• 持続的3次元表現を用いて、動的シーンの高精細で写真並みの新規ビュー合成を達成すること。
• 後続の編集や可視化タスクをサポートするスケーラブルでリアルタイムな動的3次元再構築手法を開発すること。
• 運動正則化と空間的一致性事前知識を通じて、粒子ベースの3次元表現に物理的妥当性を統合すること。
• 完全な6自由度運動回復を伴う、動的シーンモデリングのエンド・ツー・エンド微分可能最適化の実現可能性を示すこと。

提案手法

• 本手法は、時間経過に伴い位置・姿勢が変化するが、色・透過度・サイズは固定された3次元ガウス分布の集合として動的シーンを表現する。
• 画像再構築損失を用いた微分可能レンダリングにより、マルチビュー動画からのエンド・ツー・エンド学習が可能となるガウス分布パラメータの最適化を実現する。
• 局所的剛性・回転類似性・長期的等長性といった事前知識が、局所的領域の物理的に妥当で一貫性のある動きを正則化する。
• 背景セグメンテーション損失とタイムステップ初期化のための前方伝搬により、再構築の安定性と時間的一致性が向上する。
• 粒子ベースのラグランジュ的表現を活用することで、編集やカメラのアタッチメントのためのガウス分布の独立した操作が可能になる。
• すべてのモジュールが、トラッキングが正確なシーンモデリングから自然に生じるアナリシス・バイ・シンセシスフレームワーク内で共同最適化される。

実験結果

リサーチクエスチョン

• RQ1 持続的で粒子ベースの3次元表現は、オプティカルフロー や対応関係の入力を必要とせずに、すべてのシーン要因の正確な6自由度トラッキングを可能にするか？
• RQ2 移動する3次元ガウス分布の微分可能レンダリングは、動的シーンにおいて高精細で写真並みの新規ビュー合成を達成できるか？
• RQ3 局所的剛性や等長性といった物理的事前知識は、動き推定の安定化と再構築品質の向上にどの程度有効か？
• RQ4 同じ表現は、第一人称ビュー合成や動的オブジェクト挿入といった複雑な編集タスクをサポートできるか？
• RQ5 本手法は、高解像度・マルチカメラの動的シーケンスにおいて、リアルタイムの学習とレンダリングにどの程度スケーラブルか？

主な発見

• 150タイムステップと27台の訓練カメラを用いた動的新規ビューレンダリングにおいて、28.7 PSNRを達成し、リアルタイム推論が850 FPSで実現された。
• 150タイムステップにわたる平均3次元トラッキング誤差はわずか2.21cmであり、従来の最先端手法比で10倍の改善を達成した。
• 2次元トラッキング指標では、正規化ピクセル誤差が1.57にまで低下し、従来手法を著しく上回った。
• 本手法は、回転を含む完全な6自由度トラッキングを実現でき、動的ガウス分布にカメラをアタッチすることで、第一人称視点やオブジェクト相対視点の合成が可能になった。
• アブレーションスタディにより、剛性損失、背景セグメンテーション、パラメータ固定が、高品質なトラッキングとビュー合成に不可欠であることが確認された。
• ロゴ挿入やオブジェクト追加といった編集操作が、ガウス分布の持続的かつ独立性に基づき、すべてのタイムステップに自然に伝搬された。