[논문 리뷰] SplatArmor: Articulated Gaussian splatting for animatable humans from monocular RGB videos

Rohit Jena, Ganesh Iyer외 4명|arXiv (Cornell University)|2023. 11. 17.

Human Pose and Action Recognition인용 수 5

한 줄 요약

SplatArmor는 단일 RGB 영상에서 정준 SMPL 신체 모델에 3D 가우시안을 '아머링'하여 세밀하고 애니메이션 가능한 3D 인간 아바타를 생성하는 새로운 방법을 제안한다. 정상 상태에서의 피지컬 스위닝과 자세에 따라 변하는 SE(3) 필드, 그리고 3D 감독을 위한 신경 색상 필드를 사용하여, 9GB GPU 메모리에서 7시간의 훈련과 실시간 추론로 최신 기술 수준의 신규 시점 및 자세 합성 성능을 달성한다.

ABSTRACT

We propose SplatArmor, a novel approach for recovering detailed and animatable human models by `armoring' a parameterized body model with 3D Gaussians. Our approach represents the human as a set of 3D Gaussians within a canonical space, whose articulation is defined by extending the skinning of the underlying SMPL geometry to arbitrary locations in the canonical space. To account for pose-dependent effects, we introduce a SE(3) field, which allows us to capture both the location and anisotropy of the Gaussians. Furthermore, we propose the use of a neural color field to provide color regularization and 3D supervision for the precise positioning of these Gaussians. We show that Gaussian splatting provides an interesting alternative to neural rendering based methods by leverging a rasterization primitive without facing any of the non-differentiability and optimization challenges typically faced in such approaches. The rasterization paradigms allows us to leverage forward skinning, and does not suffer from the ambiguities associated with inverse skinning and warping. We show compelling results on the ZJU MoCap and People Snapshot datasets, which underscore the effectiveness of our method for controllable human synthesis.

연구 동기 및 목표

• 마커 기반 시스템 없이 단일 RGB 영상에서 고해상도, 애니메이션 가능한 3D 인간 아바타를 생성하기 위해.
• 메esh 기반 및 NeRF 기반 방법의 토폴로지 제약, 최적화 난이도, 자세에 따라 변하는 기하학적 모델링의 한계를 극복하기 위해.
• 역스위닝 및 왜곡의 모호함을 피하면서도 더 빠르고 미분 가능한 렲링을 위한 가우시안 스플래칭을 활용하기 위해.
• 최소한의 계산 비용으로 정확한 신규 시점 및 자세 합성과 높은 정밀도를 확보하기 위해.
• 정확한 가우시안 위치 및 외관을 위한 정밀한 공간 정렬을 위해 신경 색상 필드를 통한 3D 감독 및 색상 정규화를 제공하기 위해.

제안 방법

• 정준 공간에서 인간을 3D 가우시안의 집합으로 표현하며, 정준 위치로의 임의의 위치로 확장된 SMPL 스위닝을 통해 운동을 정의한다.
• 자세에 따라 변하는 변환을 모델링하기 위해 SE(3) 필드를 도입하여 관측 공간에서 가우시안의 위치와 이방향성을 모두 포괄한다.
• 가우시안 색상의 정규화와 정확한 공간적 위치 정렬을 위한 3D 감독을 제공하기 위해 신경 색상 필드를 사용한다.
• 역스위닝과 왜곡의 모호함을 피하기 위해 정상 상태의 가우시안을 관측 공간으로 매핑하기 위해 프로퍼 스위닝을 적용한다.
• 수렴성 향상과 잡음 감소를 위해 시각 헬름 추정과 색상 필드 초기화를 활용한 사전 훈련 기법을 도입한다.
• 훈련 중 프레임 단위 자세 최적화를 수행하면서도, 비정상적이고 자세에 따라 변하는 형태 왜곡을 학습 가능한 MLP를 통해 처리한다.

실험 결과

연구 질문

• RQ1 정준 SMPL 모델에 锚정된 3D 가우시안이 단일 RGB 영상에서 고해상도, 애니메이션 가능한 인간 재구성에 성공할 수 있는가?
• RQ2 가우시안을 사용한 프로퍼 스위닝이 역스위닝에 비해 강건성과 잡음 감소 측면에서 우월한가?
• RQ3 신경 색상 필드가 명시적 3D 감독 없이도 효과적으로 가우시안 색상 정규화와 3D 감독을 제공할 수 있는가?
• RQ4 NeRF 기반 기준과 비교해 본다면, 제안된 방법은 훈련 효율성과 추론 속도 측면에서 어떤가?
• RQ5 과적합이나 잡음이 발생하지 않도록, 새로운 자세와 시점으로의 일반화 능력은 어느 정도인가?

주요 결과

• SplatArmor는 ZJU MoCap 데이터셋에서 PSNR 31.94, LPIPS 26.08을 기록하여, 모든 기준 대비 새로운 시점 및 자세 합성에서 최고 성능을 달성했다.
• 절단 실험 결과, 신경 색상 필드를 제거할 경우 PSNR가 5.86 감소하고 LPIPS가 5.86 증가하여, 잡음 억제에 필수적인 역할을 한다는 점을 확인했다.
• 시각 헬름과 색상 필드의 사전 훈련은 새로운 자세에서의 잡음 감소에 기여하며, 사전 훈련 없이 진행한 버전은 재구성 품질이 심각하게 떨어졌다.
• 9GB GPU 메모리에서 7시간의 훈련으로 완료되며, HumanNeRF(48GB에서 3일), AnimNeRF(15시간)에 비해 훨씬 빠르며, 실시간 추론이 가능하다.
• 자세에 따라 변하는 MLP의 강성(R) 버전이 정확도와 과도한 보정의 균형을 가장 잘 유지하며, 이동 전용 및 애핀 변환 버전을 모두 능가했다.
• 실패 사례로는 자세나 자기 그림자 영역에서 어두운 텍스처가 발생하는 경우가 있으며, 이는 시점에 따라 변하는 색상 모델링의 부족으로 인한 한계로 보인다.