[논문 리뷰] GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting
GaussianBody는 포즈 가이드 변형과 물리 기반 우선 정보를 사용하여 단안 비디오에서 동적 의상 인간을 3D Gaussian splatting으로 재구성하고, 약 1시간의 훈련으로 단일 RTX 4090에서 고충실도 렌더링과 명시적 기하를 달성한다.
In this work, we propose a novel clothed human reconstruction method called GaussianBody, based on 3D Gaussian Splatting. Compared with the costly neural radiance based models, 3D Gaussian Splatting has recently demonstrated great performance in terms of training time and rendering quality. However, applying the static 3D Gaussian Splatting model to the dynamic human reconstruction problem is non-trivial due to complicated non-rigid deformations and rich cloth details. To address these challenges, our method considers explicit pose-guided deformation to associate dynamic Gaussians across the canonical space and the observation space, introducing a physically-based prior with regularized transformations helps mitigate ambiguity between the two spaces. During the training process, we further propose a pose refinement strategy to update the pose regression for compensating the inaccurate initial estimation and a split-with-scale mechanism to enhance the density of regressed point clouds. The experiments validate that our method can achieve state-of-the-art photorealistic novel-view rendering results with high-quality details for dynamic clothed human bodies, along with explicit geometry reconstruction.
연구 동기 및 목표
- 단안 비디오에서 동적 의상 인간의 고품질 재구성을 촉진한다.
- 더 빠른 학습 및 렌더링을 위해 명시적 3D Gaussian splatting을 사용하여 암시적 모델의 한계를 극복한다.
- 자세 가이드 변형과 물리적 사전 정보를 활용하여 비강체 변형을 규제한다.
- 새로운 시점에 대해 상세한 기하(포인트 클라우드)와 사진 실사에 가까운 외관을 모두 제공하는 파이프라인을 제시한다.
제안 방법
- 표준 공간과 관찰 공간을 통해 동적 의상 인간에 3D Gaussian Splatting(3D-GS)을 확장한다.
- SMPL 포즈 가이던스로 표준 공간에서 프레임별 관찰 공간으로 가우시안을 변형시키기 위해 순방향 선형 혼합 스키닝(LBS)을 사용한다.
- 로컬 강성, 로컬 회전, 로컬 등거리성(local-isometry)을 포함한 물리 기반 사전을 도입하여 공간 간 가우시안 변환을 규제한다.
- Split-large Gaussians (split-with-scale)로 회귀된 구름의 포인트 밀도와 세부 정보를 증가시킨다.
- 텍스처 정합을 개선하고 흐림을 줄이기 위해 SMPL 포즈 매개변수를 최적화하는 자세 보정 단계를 추가한다.
- 선택적으로 변형 MLP 접근 방식과 비강체 천 변형에 대한 관찰된 트레이드오프를 논의한다.
실험 결과
연구 질문
- RQ1포즈 가이드 변형을 사용하여 동적 비강체 의상 인간에 대해 3D-GS를 어떻게 적용·적응시킬 수 있는가?
- RQ2Canonical-to-observation-space 변환의 안정화에 물리 기반 사전의 영향은 무엇인가?
- RQ3포즈 보정과 split-with-scale 전략이 단안 입력에 대한 텍스처 충실도 및 포인트 밀도를 향상시키는가?
- RQ4단일 GPU 구성에서 경쟁력 있는 학습 시간으로 고품질의 novel-view 렌더링을 달성할 수 있는가?
주요 결과
- 비교 대상 중에서 동적 의상 인간에 대한 최첨단의 사진처럼 사실적인 novel-view 렌더링을 달성한다.
- 학습 시간은 단일 RTX 4090에서 단안 비디오 입력으로 약 1시간이다.
- 포인트 클라우드로 명시적 기하를 생성하고, 의상과 몸 모양의 상세한 외관을 제공한다.
- 물리 기반 사전은 아티팩트와 블러를 피하는 데 중요하며, 모든 구성요소가 충실한 디테일 복원에 기여한다.
- 포즈 보정은 텍스처 선명도를, split-with-scale은 포인트 밀도를 각각 향상시킨다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.