[論文レビュー] SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes

Yihua Huang, Yang-Tian Sun+4 more|arXiv (Cornell University)|Dec 4, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、スパースな制御点と変形MLPを用いて6自由度の運動場をモデル化することで、編集可能な動的シーン再構築のための新規手法SC-GSを提案する。動きと外観を分離し、ARAP損失による局所的剛体性を強制することで、リアルタイム速度で高精細な新規視点再構築を実現するとともに、直感的なユーザー制御による動き編集を可能にし、品質と効率の両面で先行手法を上回る性能を達成した。

ABSTRACT

Novel view synthesis for dynamic scenes is still a challenging problem in computer vision and graphics. Recently, Gaussian splatting has emerged as a robust technique to represent static scenes and enable high-quality and real-time novel view synthesis. Building upon this technique, we propose a new representation that explicitly decomposes the motion and appearance of dynamic scenes into sparse control points and dense Gaussians, respectively. Our key idea is to use sparse control points, significantly fewer in number than the Gaussians, to learn compact 6 DoF transformation bases, which can be locally interpolated through learned interpolation weights to yield the motion field of 3D Gaussians. We employ a deformation MLP to predict time-varying 6 DoF transformations for each control point, which reduces learning complexities, enhances learning abilities, and facilitates obtaining temporal and spatial coherent motion patterns. Then, we jointly learn the 3D Gaussians, the canonical space locations of control points, and the deformation MLP to reconstruct the appearance, geometry, and dynamics of 3D scenes. During learning, the location and number of control points are adaptively adjusted to accommodate varying motion complexities in different regions, and an ARAP loss following the principle of as rigid as possible is developed to enforce spatial continuity and local rigidity of learned motions. Finally, thanks to the explicit sparse motion representation and its decomposition from appearance, our method can enable user-controlled motion editing while retaining high-fidelity appearances. Extensive experiments demonstrate that our approach outperforms existing approaches on novel view synthesis with a high rendering speed and enables novel appearance-preserved motion editing applications. Project page: https://yihua7.github.io/SC-GS-web/

研究の動機と目的

• 単眼動画からの高品質でリアルタイムの新規視点再構築の課題に対処すること。
• 高精細な外観を保持しながら、3Dシーンにおけるユーザー制御可能な動き編集を可能にすること。
• スパースで学習可能な運動表現の導入により、ガウススプラッティングにおける運動モデリングの複雑さとノイズを低減すること。
• 局所的剛体性制約を用いて、動的シーンにおける空間的・時間的整合性を向上させること。
• 単眼動画入力を用いて、3Dガウス分布、制御点の位置、変形ネットワークを一括最適化することで、エンドツーエンドの動的シーン再構築を実現すること。

提案手法

• 6自由度の運動場のためのコンactな基底として、スパースな制御点（約512個）を導入し、100K個のガウス分布よりも顕著に少ない数に抑える。
• 時間および位置に依存するMLPを用いて、各制御点の時間変化する6自由度変換（クォータニオン回転＋平行移動）を予測する。
• 制御点の変換を局所的に補間することで、密なガウス分布を駆動し、滑らかで整合性のある運動場を実現する。
• 局所的な運動の複雑さに基づいて、動的に制御点の数と位置を調整する戦略を採用する。
• 制御点の動きにおける局所的剛体性と空間的連続性を強制するため、ARAP（As-Rigid-As-Possible）損失を導入する。
• 単眼動画入力に基づいて、3Dガウス分布のパラメータ、初期状態の制御点位置、および変形MLPを一括最適化する。

実験結果

リサーチクエスチョン

• RQ1 スパースな制御点表現は、複雑な動的シーンの動きを効果的にモデル化しつつ、高精細なレンダリング品質を維持できるか？
• RQ2 時間と位置に条件付けられた変形MLPは、直接的なガウス運動予測と比較して、どのように運動の一般化性と整合性を向上させるか？
• RQ3 ARAP損失による局所的剛体性の強制は、動きのアーチファクトをどれほど低減し、時間的整合性を向上させるか？
• RQ4 制御点による明示的な運動表現は、学習済みシーケンスを越えて直感的でユーザー主導の動き編集を可能にするか？
• RQ5 本手法は、新規視点再構築および動き編集において、定量的・定性的にSOTA手法と比較してどのように優れているか？

主な発見

• D-NeRFデータセットにおいて、SC-GSはPSNR 43.307、SSIM 0.9976、LPIPS 0.0063を達成し、制御点を有する・なしの両方のベースラインを上回った。
• アブレーションスタディの結果、制御点を削除するとPSNRが4.795ポイント低下し、一般化性能とノイズ低減における制御点の重要性が明確になった。
• ARAP損失を削除すると、LPIPSは0.0063から0.0067に上昇し、動きのアーチファクトが発生した。これにより、剛体性の強制が有効であることが確認された。
• 本手法は、編集結果においても滑らかで現実的な軌道を維持するなど、未観測の動きパターンに対しても良好な一般化性能を示した。
• 特に鏡面反射のある挑戦的なシーンでも、SOTAの視覚的品質を維持しながら、高速なレンダリング速度を実現した。
• 制御点の操作により、従来のNeRFおよびガウスベース手法にはないユーザー編集可能な動き編集を実現した。