[論文レビュー] MaGS: Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting

Shaojie Ma, Yawei Luo+2 more|arXiv (Cornell University)|Jun 3, 2024

Image Processing and 3D Reconstruction被引用数 5

ひとこと要約

MaGS は、3Dガウシアンを変形メッシュ上に配置し、相対変形場を学習して変形中にガウシアンをメッシュ上にホバーさせることで、3D再構成とダイナミックオブジェクトのシミュレーションを統合し、高いレンダリング品質と現実的な運動を実現します。

ABSTRACT

3D reconstruction and simulation, although interrelated, have distinct objectives: reconstruction requires a flexible 3D representation that can adapt to diverse scenes, while simulation needs a structured representation to model motion principles effectively. This paper introduces the Mesh-adsorbed Gaussian Splatting (MaGS) method to address this challenge. MaGS constrains 3D Gaussians to roam near the mesh, creating a mutually adsorbed mesh-Gaussian 3D representation. Such representation harnesses both the rendering flexibility of 3D Gaussians and the structured property of meshes. To achieve this, we introduce RMD-Net, a network that learns motion priors from video data to refine mesh deformations, alongside RGD-Net, which models the relative displacement between the mesh and Gaussians to enhance rendering fidelity under mesh constraints. To generalize to novel, user-defined deformations beyond input video without reliance on temporal data, we propose MPE-Net, which leverages inherent mesh information to bootstrap RMD-Net and RGD-Net. Due to the universality of meshes, MaGS is compatible with various deformation priors such as ARAP, SMPL, and soft physics simulation. Extensive experiments on the D-NeRF, DG-Mesh, and PeopleSnapshot datasets demonstrate that MaGS achieves state-of-the-art performance in both reconstruction and simulation.

研究の動機と目的

• レンダリング品質や変形のリアリズムを犠牲にせず、動的な3D再構成とシミュレーションの統一アプローチを提案する。
• Gaussian splattingの柔軟性とメッシュの整合性を組み合わせた、Mesh-adsorbed Gaussian 表現を提案する。
• メッシュとガウシアン間の相対運動をモデル化する学習可能な Relative Deformation Field (RDF) を導入する。
• RDF を組み込んだ ARAP ベースのメッシュ変形を活用し、現実的で制御可能なダイナミクスを達成する。
• 再構成精度と変形のリアリズムの両方を向上させるため、メッシュ、ガウシアン、RDFを共同最適化する。

提案手法

• Mesh-adsorbed Gaussian Splatting (MaGS) を導入し、ガウシアンをメッシュ表面上にホバーさせることでハイブリッド表現を実現する。
• Stage I は、変形場 MLP (DF-MLP) を用いて粗い変形場を推定し、深度ベースの Gaussian レンダリングと Marching Cubes によって粗いメッシュを得てフレームをレンダリングする。
• Stage II はガウシアンをメッシュ上に吸着させ、Relative Deformation Field を計算する RDF-MLP を用いて相対変形場を算出し、ガウシアンがメッシュ上をホバーし、メッシュとともに変形できるようにする。
• 非剛性・ガウシアンごとの運動を捉えるため、ARAP priors を拡張する。
• ポアソン disk サンプリングを用いて変形ハンドルを配置し、局所剛性を保証するよう ARAP を適用しつつ、RDF がより細かな非剛性運動を捉えられるようにする。
• 3D Gaussian splatting を用いた微分可能レンダリングを有効にして、ガウシアン、メッシュ、RDF をエンドツーエンドで最適化する。
• メッシュをドラッグして RDF ベースの調整によってガウシアン位置を洗練させる、ユーザー対話的なシミュレーションを提供する。

Figure 2 : The MaGS pipeline comprises two stages. In Stage I, we randomly initialize 3D Gaussians and utilize a deformation fields MLP (DF-MLP) to generate a deformation field for these Gaussians. The deformed Gaussians are rendered using splatting, and the loss between the rendered view and the gr

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドな mesh-adsorbed Gaussian 表現は、単眼動画からの正確な3D再構成と現実的な動的変形の両方をサポートできるか？
• RQ2 学習可能な Relative Deformation Field (RDF) は、ARAP ベースのメッシュ変形を超えてガウシアンごとの運動モデリングを改善するか？
• RQ3 メッシュ・ガウシアン・RDF の共同最適化は、固定メッシュ-ガウシアンアンカリングと比較してレンダリング品質と変形の説得力にどのような差があるか？
• RQ4 テクスチャと構造を保持しつつ、ユーザー主導の対話的変形をフレームワークはサポートできるか？
• RQ5 MaGS を用いた場合、動的シーンベンチマーク（D-NeRF, NeRF-DS）での定量的な利得は従来手法と比べてどうか？

主な発見

• MaGS は、D-NeRF および NeRF-DS で実証されたとおり、従来の mesh-Gaussian アプローチよりも高いレンダリング精度とより現実的な変形を達成する。
• メッシュ、ガウシアン、および RDF の共同最適化は、アーティファクトを減少させ、評価されたシーケンスで PSNR/SSIM 指標を改善し、LPIPS を低減する。
• ガウシアンをメッシュ上にホバーさせ、ガウシアンごとの相対変形を学習することで、固定されたメッシュアンカリング表現よりもレンダリング忠実度が向上する。
• アブレーション研究は、RDF の削除やホバーを減少させると性能が低下することを示し、RDF がレンダリング品質により大きな影響を与える。

Figure 3 : To our knowledge, all existing methods [ 18 , 40 , 9 ] that integrate 3D Gaussians with mesh representations anchor each Gaussian to a mesh facet in a fixed manner, preventing any relative displacement between the mesh and 3D Gaussians despite mesh deformations. Consequently, when optimiz