[论文解读] GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting
GaussianBody 从单目视频使用 3D Gaussian splatting 进行姿势引导变形和物理基础先验,实现高保真渲染和显式几何,大约在单个 RTX 4090 上训练约 1 小时。
In this work, we propose a novel clothed human reconstruction method called GaussianBody, based on 3D Gaussian Splatting. Compared with the costly neural radiance based models, 3D Gaussian Splatting has recently demonstrated great performance in terms of training time and rendering quality. However, applying the static 3D Gaussian Splatting model to the dynamic human reconstruction problem is non-trivial due to complicated non-rigid deformations and rich cloth details. To address these challenges, our method considers explicit pose-guided deformation to associate dynamic Gaussians across the canonical space and the observation space, introducing a physically-based prior with regularized transformations helps mitigate ambiguity between the two spaces. During the training process, we further propose a pose refinement strategy to update the pose regression for compensating the inaccurate initial estimation and a split-with-scale mechanism to enhance the density of regressed point clouds. The experiments validate that our method can achieve state-of-the-art photorealistic novel-view rendering results with high-quality details for dynamic clothed human bodies, along with explicit geometry reconstruction.
研究动机与目标
- 促使从单目视频高质量重建动态穿衣人类。
- 通过使用显式的 3D Gaussian splatting 来替代隐式模型的限制,以实现更快的训练和渲染。
- 利用姿势引导的变形和物理先验来对非刚性变形进行正则化。
- 提供一个管线,能在新视图下同时产出详细几何(点云)和照片级真实感外观。
提出的方法
- 通过规范空间和观测空间,将 3D Gaussian Splatting (3D-GS) 扩展到动态穿衣人类。
- 使用 forward linear blend skinning (LBS) 结合 SMPL 姿态引导,将高斯从规范空间变形至每帧的观测空间。
- 引入物理基础先验 (local-rigidity, local-rotation, local-isometry) 以在跨空间对高斯变换进行正则化。
- Split-large Gaussians (split-with-scale) 以增加回归点云中的点密度和细节。
- 新增姿态细化步骤以优化 SMPL 姿态参数,从而获得更好的纹理对齐并减少模糊。
- 可选讨论变形 MLP 方法及其在非刚性布料变形方面的已观察到的权衡。
实验结果
研究问题
- RQ1如何将 3D-GS 以姿势引导的变形适配于动态、非刚性穿衣人体?
- RQ2物理基础先验在稳定规范空间到观测空间变换方面的影响是什么?
- RQ3姿态细化和 split-with-scale 策略是否提升单目输入下的纹理保真度和点密度?
- RQ4该方法在单-GPU 设置下是否能以有竞争力的训练时间实现高质量的新视图渲染?
主要发现
- 在所比较的基线中实现了动态穿着衣物的人类的最先进的照片级新视图渲染。
- 训练时间在单个 RTX 4090 上,使用单目视频输入,大约 1 小时。
- 以显式点云形式产生高质量几何,并呈现出细致的布料和身体外观。
- 物理基础先验对于避免伪影和模糊至关重要,所有组件共同促成对细节的真实还原。
- 姿态细化和 split-with-scale 分别提升纹理清晰度和点密度。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。