[論文レビュー] SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

Antoine Guédon, Vincent Lepetit|arXiv (Cornell University)|Nov 21, 2023

Computer Graphics and Visualization Techniques被引用数 24

ひとこと要約

SuGaR は、3D ガウシアンをシーン表面に整列させる正則化項を導入し、ポアソン再構成による高速・大規模なメッシュ抽出と、編集可能で高品質なレンダリングのための任意のメッシュ–ガウシアン共調整を可能にする。

ABSTRACT

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality. Our project page is the following: https://anttwo.github.io/sugar/

研究の動機と目的

• レンダリング品質を保ちながら、3D Gaussian Splatting からの高速で正確なメッシュ抽出を動機づける。
• ガウシアンをシーン表面に整列させ、信頼性の高いメッシュ化を可能にする。
• スケーラブルなメッシュ抽出手法（ポアソン再構成）と、オプションのメッシュ–ガウシアン共同最適化ワークフローを提供する。
• ガウシアンを編集可能なメッシュに結合することにより、編集・アニメーション・リライティングを可能にする。

提案手法

• シーン表面にガウシアンを整列させ、適切に分布させる正則化項を導入する。
• ガウシアン密度から理想的な密度ベースの表面距離 f(p) を導出し、サンプル点上で |f(p)−f̂(p)| を最小化してガウシアンを表面へ誘導する。
• トレーニング時の視点からの深度マップを用いて f̂(p) を推定する、SDFベースの効率的な正則化を計算する。
• ガウシアン密度のレベルセット上の点をサンプリングし、ポアソン再構成を適用してメッシュを抽出する。必要に応じてSDFからの法線を用いる。
• 任意で新しいガウシアンを抽出したメッシュに結合し、メッシュとガウシアンを共同最適化してレンダリングと編集機能を向上させる。
• 単一のGPUで数分以内に編集可能なメッシュを得られる実用的なパイプラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 3D Gaussian Splatting からのガウシアンを、シーン表面に整列させるよう正則化するにはどうすればよいか？
• RQ2 密で無構造なガウシアン場から、レベルセット採取戦略とポアソン再構成を用いて効率的にメッシュを抽出できるか？
• RQ3 抽出したメッシュ上でガウシアンを結合・共同 refinement することは、レンダリング品質を向上させ、メッシュベースの編集を可能にするか？
• RQ4 レンダリング品質と抽出速度の点で、SuGaR はメッシュフリーおよびメッシュベースのベースラインとどう比較されるか？

主な発見

• 正則化項はガウシアンをシーン表面に整列させ、均等に覆うよう促し、メッシュ抽出を容易にする。
• レベルセット採取とポアソン再構成によるメッシュ抽出はスケーラブルで、NeRFベースのメッシュ化手法より著しく高速であり、多くの場合単一GPUで数分以内に完了する。
• 抽出したメッシュにガウシアンを結合し、共同で refinement することは、レンダリング品質を向上させ、メッシュベースの編集とリライティングを可能にする。
• 実験では SuGaR が高品質なレンダリングを達成し、メッシュや放射場に基づく複数の最先端手法と比べて競争力のある、あるいは優れた性能を示した。