[論文レビュー] GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting

Mengtian Li, Shengxiang Yao+2 more|arXiv (Cornell University)|Jan 18, 2024

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

GaussianBodyは、3D Gaussian splattingを用いた姿勢誘導変形と物理ベースの事前知識を組み合わせて、モノクロビデオから動的な衣服付き人間を再構成し、約1時間の単一の RTX 4090 で高忠実度のレンダリングと明示的ジオメトリを実現します。

ABSTRACT

In this work, we propose a novel clothed human reconstruction method called GaussianBody, based on 3D Gaussian Splatting. Compared with the costly neural radiance based models, 3D Gaussian Splatting has recently demonstrated great performance in terms of training time and rendering quality. However, applying the static 3D Gaussian Splatting model to the dynamic human reconstruction problem is non-trivial due to complicated non-rigid deformations and rich cloth details. To address these challenges, our method considers explicit pose-guided deformation to associate dynamic Gaussians across the canonical space and the observation space, introducing a physically-based prior with regularized transformations helps mitigate ambiguity between the two spaces. During the training process, we further propose a pose refinement strategy to update the pose regression for compensating the inaccurate initial estimation and a split-with-scale mechanism to enhance the density of regressed point clouds. The experiments validate that our method can achieve state-of-the-art photorealistic novel-view rendering results with high-quality details for dynamic clothed human bodies, along with explicit geometry reconstruction.

研究の動機と目的

• モノクロビデオからの動的な衣服付き人間の高品質な再構成を推進する。
• 高速な学習とレンダリングのために、明示的な3D Gaussian splattingを用いて、暗黙モデルの制約を克服する。
• 姿勢誘導変形と物理的 priors を活用して非剛性変形を正則化する。
• 新規ビューに対して詳細なジオメトリ（点群）とフォトリアリスティックな外観の両方を提供するパイプラインを提供する。

提案手法

• canonical spaceとobservation spaceを介して、動的な衣服付き人間へと3D Gaussian Splatting (3D-GS) を拡張する。
• SMPLポーズガイダンスを用いたフォワード線形ブレンディング（LBS）で、canonical spaceから各フレームのobservation spaceへガウシアンを変形させる。
• 局所剛性、局所回転、局所同一性（local-rigidity, local-rotation, local-isometry）などの物理ベースの事前知識を導入し、空間をまたぐガウシアン変換を正則化する。
• 大きなガウシアンを分割する（split-with-scale）ことで、回帰された点群の点密度とディテールを増加させる。
• より良いテクスチャ整列とブレの低減のために、SMPLポーズパラメータを最適化するポーズリファインメント手順を追加する。
• 任意で、変形MLPアプローチと非剛性布の変形に対する観測されたトレードオフを検討する。

実験結果

リサーチクエスチョン

• RQ1 姿勢誘導変形を用いて、動的で非剛性の衣服付き人間に対して3D-GSをどのように適応させることができるか？
• RQ2 canonical-to-observation-space変換を安定化させる上で、物理ベースの事前知識の影響はどの程度か？
• RQ3 ポーズリファインメントとsplit-with-scale戦略は、モノクロ入力に対するテクスチャの忠実度と点密度を改善するのか？
• RQ4 単一GPU環境で競争力のある学習時間で高品質な新規ビューのレンダリングを実現できるか？

主な発見

• 比較されたベースラインの中で、動的な衣服付き人間のフォトリアリスティックな新規ビューレンダリングで最先端を達成。
• トレーニング時間は、モノクロビデオ入力で単一の RTX 4090 上で約1時間。
• 明示的な点群として高品質なジオメトリを生成し、布地と体の外観の詳細を提供。
• アーティファクトとブレを回避するためには物理ベースの事前知識が重要で、すべての構成要素が忠実なディテール復元に寄与する。
• ポーズリファインメントはテクスチャのシャープさを、split-with-scaleは点密度をそれぞれ改善する。