[論文レビュー] Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering

Yu-Rui Chen, Chun Gu+3 more|arXiv (Cornell University)|Nov 30, 2023

Remote Sensing and Land Use被引用数 4

ひとこと要約

本稿では、周期的振動に基づく時間的ダイナミクスを静的ガウス点に埋め込むことで、オブジェクトレベルのアノテーションなしにリアルタイムレンダリングと優れた再構成を可能にする統合的3次元ガウススプラッタリングベースの手法、Periodic Vibration Gaussian (PVG) を提案する。PVGはSUDSと比較して学習が50倍速く、レンダリングが6000倍速く、WaymoおよびKITTIベンチマークにおいてPSNR、SSIM、LPIPSの面で顕著な向上を達成し、最先端の性能を発揮する。

ABSTRACT

Modeling dynamic, large-scale urban scenes is challenging due to their highly intricate geometric structures and unconstrained dynamics in both space and time. Prior methods often employ high-level architectural priors, separating static and dynamic elements, resulting in suboptimal capture of their synergistic interactions. To address this challenge, we present a unified representation model, called Periodic Vibration Gaussian (PVG). PVG builds upon the efficient 3D Gaussian splatting technique, originally designed for static scene representation, by introducing periodic vibration-based temporal dynamics. This innovation enables PVG to elegantly and uniformly represent the characteristics of various objects and elements in dynamic urban scenes. To enhance temporally coherent and large scene representation learning with sparse training data, we introduce a novel temporal smoothing mechanism and a position-aware adaptive control strategy respectively. Extensive experiments on Waymo Open Dataset and KITTI benchmarks demonstrate that PVG surpasses state-of-the-art alternatives in both reconstruction and novel view synthesis for both dynamic and static scenes. Notably, PVG achieves this without relying on manually labeled object bounding boxes or expensive optical flow estimation. Moreover, PVG exhibits 900-fold acceleration in rendering over the best alternative.

研究の動機と目的

• 複雑な空間的・時間的相互作用を示す大規模で高動的な都市シーンの再構築の課題に対処すること。
• 高価な監視（例：3次元バウンディングボックス、オプティカルフロー）に依存するか、学習・レンダリングが遅い従来のNeRFベース手法の限界を克服すること。
• 明示的なオブジェクト分解を伴わずに、静的および動的要素を統合的に1つの効率的表現に統合すること。
• スパarsな訓練データを用いて、新しい流れベースの滑らかさと適応的制御を導入することで、再構築における時間的整合性を向上させること。
• 学習およびレンダリングの高速化を図りながら、新規ビュー合成の分野で最先端の性能を達成すること。

提案手法

• 周期的振動を用いた時間変動するガウス位置を導入することで、3次元ガウススプラッタリングを拡張：$\widetilde{\bm{\mu}}(t) = \bm{\mu} + \mathbf{A} \sin\left(\frac{2\pi t}{l}\right)$、ここで$l$はサイクル長を制御し、$\mathbf{A}$は運動の振幅と方向を符号化する。
• 動きの流れに基づく時間的滑らかさ機構を導入し、新規ビュー合成における動きの整合性を向上させ、ちらつきを低減する。
• 無限大に及ぶ都市シーンにおいて点の挙動を安定化させるため、位置に依存する適応的制御戦略を採用する。
• 複数の損失項を組み込む：深度損失 $\mathcal{L}_d$、速度損失 $\mathcal{L}_{\bm{v}}$、透明度損失 $\mathcal{L}_o$、および幾何形状と外観の向上のためのスカイリファインメント。
• LiDARの監視と、時間依存の透明度減衰を新たに導入することで、再構築の正確性と動的要素の分離を向上させる。
• 真値のオプティカルフローまたは手動アノテーションを必要としない、暗黙のシーンフロー推定を活用する。

実験結果

リサーチクエスチョン

• RQ1 明示的なオブジェクト分解を伴わず、大規模な都市シーンにおける静的および動的要素を統合的な3次元ガウススプラッタリング形式で効果的に表現できるか？
• RQ2 訓練データがスパースな場合に、時間的整合性をどのように向上させられるか？
• RQ3 周期的振動ダイナミクスは、都市シーンにおける多様な運動パターンを捉えるために、線形または静的運動モデルを上回ることができるか？
• RQ4 流れベースの時間的滑らかさ機構は、ちらつきを低減し、レンダリングの一貫性を向上させることができるか？
• RQ5 提案手法は、NeRFベースの代替手法と比較して、新規ビュー合成の性能を最先端にまで高めるとともに、学習およびレンダリングの高速化を著しく達成できるか？

主な発見

• KITTIベンチマークにおいて、SOTAベースラインのSUDSと比較して、PSNRが11.4%向上、SSIMが5.8%向上、LPIPSが55.1%低減した。
• Waymo Open Datasetでは、Marsベースラインと比較してPSNRが9.9%向上、SSIMが4.7%向上、LPIPSが20.6%低減した。
• SUDS（最高性能のベースライン）と比較して、学習が50倍速く、レンダリングが6000倍速くなった。
• アブレーションスタディにより、シーンフローに基づく時間的滑らかさ機構がレンダリングの滑らかさと時間的整合性を向上させることを確認。この機構を有効化すると、PSNRは27.77から28.11に上昇した。
• 最適なサイクル長$l$は極めて重要である：短すぎると動的表現が劣り、長すぎると静的領域にゴーストが生じる。中間の$l$で最良の性能を発揮した。
• 位置に依存する適応的制御戦略は、遠方のビュー再構築を著しく改善した。また、速度損失は動的および静的成分の明確な分離に寄与した。