[論文レビュー] GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting

Joanna Waczyńska, Piotr Borycki+3 more|arXiv (Cornell University)|Feb 2, 2024

Perovskite Materials and Applications被引用数 10

ひとこと要約

GaMeS はGaussian Splattingをメッシュの面に結びつけ、メッシュ変更時のGaussianコンポーネントのリアルタイム編集と自動適応を可能にし、3Dシーンの編集可能でリアルタイムレンダリングを実現します。

ABSTRACT

Gaussian Splatting (GS) is a novel, state-of-the-art technique for rendering points in a 3D scene by approximating their contribution to image pixels through Gaussian distributions, warranting fast training and real-time rendering. The main drawback of GS is the absence of a well-defined approach for its conditioning due to the necessity of conditioning several hundred thousand Gaussian components. To solve this, we introduce the Gaussian Mesh Splatting (GaMeS) model, which allows modification of Gaussian components in a similar way as meshes. We parameterize each Gaussian component by the vertices of the mesh face. Furthermore, our model needs mesh initialization on input or estimated mesh during training. We also define Gaussian splats solely based on their location on the mesh, allowing for automatic adjustments in position, scale, and rotation during animation. As a result, we obtain a real-time rendering of editable GS.

研究の動機と目的

• NeRFs（ニューラル輻射場）と比較して、より速く編集可能な3Dシーンレンダリングを動機づける。
• メッシュベースのGaussian Splatting（GaMeS）表現を導入し、メッシュの変化を通じてGaussianのリアルタイム変更とアニメーションを可能にする。
• GaMeSは明示的な入力メッシュの有無にかかわらず動作でき、疑似メッシュまたはFLAMEベースのメッシュから初期化できることを示す。
• 複数のデータセットで競争力のあるレンダリング品質を示しつつ、効率的なワンステージ訓練と編集を実現する。

提案手法

• 各Gaussianをメッシュ面の頂点でパラメータ化し、メッシュ表面上にGaussianを配置する。
• Gaussianの平均が面の頂点の凸結合となる導電率を用い、面の中心と一致するように整列を維持する。
• Gaussian共分散を分解形 Sigma = R^T S R で表現する。ここで R は面に整列した回転、S は対角スケーリング。表面上に位置させるため最初のスケール成分を小さなεに固定する。
• メッシュベースおよび疑似メッシュベースの GaMeS の両方を許容する。メッシュが欠如している場合、推定された面上に各成分ごとにGaussianを再パラメータ化して疑似メッシュを推定する。
• メッシュとGaussianパラメータを同時最適化する単一ステージ訓練レジームを提供し、メッシュが編集されたときのリアルタイム調整を可能にする。
• 人間の顔実験のためにFLAMEを用いてメッシュを任意に初期化し、編集可能でアニメーション可能な結果を得るようGaMeSを訓練する。

Figure 2 : GaMeS can be effectively trained on large scenes to allow their modifications while preserving high-quality renders.

実験結果

リサーチクエスチョン

• RQ1 GaMeSは、編集可能でメッシュ結合のGaussian成分を実現しつつ、最先端のGaussian Splatting（GS）手法と同等のレンダリング品質を達成できるか？
• RQ2 Gaussianをメッシュ面に結びつけることで、訓練および推論中にメッシュの編集がGaussianのパラメータ（平均と共分散）に自動伝播するか？
• RQ3 既存メッシュと訓練中に生成される疑似メッシュの両方でGaMeSは有効か、初期化（FLAMEを含む）が性能にどう影響するか？
• RQ4 面ごとのGaussian数とメッシュ面の細分化がレンダリング品質と訓練時間に与える影響は？
• RQ5 静的なGSと比較して、アニメーションや動的編集シナリオでGaMeSはどのように機能するか？

主な発見

• GaMeSはNeRF-SyntheticおよびMip-NeRF360データセットでベースラインと競合するPSNR結果をもたらす。
• GaMeSは、メッシュの変更がGaussianの平均と共分散に自動伝播するリアルタイム編集を可能にし、変形中も高いレンダリング品質を維持する。
• GaMeSは既存メッシュ、疑似メッシュ初期化、FLAMEベースの人間の顔初期化といったシナリオをサポートし、オブジェクトとシーンを横断する柔軟性を示す。
• 疑似メッシュ（Gaussian 1個あたり1つの面）を用いると、事前処理を高コストにすることなくGaussianを編集でき、GS系統とほぼ同等の結果を達成する。
• 大きなメッシュ面を細分化すると、顕著なメッシュ変形時の頑健性とレンダリング品質が向上する。
• 推論と編集は静的GSレンダリングに匹敵する速度で実行でき、訓練時間はシーンの複雑さに応じて数分から1時間未満の範囲。

Figure 3 : Visualization of affine transformation of Gaussian components when we modify mesh. Mesh vertices parameterize the mean and covariance matrix of Gaussian. Therefore, such parameters update when we change the mesh.