[논문 리뷰] Animatable and Relightable Gaussians for High-fidelity Human Avatar Modeling

Zhe Li, Sun, Yipengjing외 4명|arXiv (Cornell University)|2023. 11. 27.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 다중 시야 RGB 영상에서 고해상도이고 포즈에 따라 변하는 인간의 외관을 모델링하기 위해 3D 가우시안 스플래터링과 2D CNN을 결합한 새로운 3D 아바타 표현인 Animatable Gaussians를 제안한다. 이는 앞면/뒷면 정준 시점에 대한 템플릿 유도 매개변수화를 통해 구현되며, 특히 드레스와 같은 유연한 옷차림을 정확히 모델링할 수 있다. 특성에 기반한 매개변수 템플릿을 학습하고, PCA 기반의 포즈 투영과 스타일 제너레이터를 사용한 스타일 제너레이터를 통해 실시간으로도 높은 품질의 동적이고 일반화된 아바타 애니메이션을 구현하며, 이는 이전의 NeRF 기반 및 암시적 방법들보다 해상도와 추론 속도 면에서 뛰어나다.

ABSTRACT

Modeling animatable human avatars from RGB videos is a long-standing and challenging problem. Recent works usually adopt MLP-based neural radiance fields (NeRF) to represent 3D humans, but it remains difficult for pure MLPs to regress pose-dependent garment details. To this end, we introduce Animatable Gaussians, a new avatar representation that leverages powerful 2D CNNs and 3D Gaussian splatting to create high-fidelity avatars. To associate 3D Gaussians with the animatable avatar, we learn a parametric template from the input videos, and then parameterize the template on two front & back canonical Gaussian maps where each pixel represents a 3D Gaussian. The learned template is adaptive to the wearing garments for modeling looser clothes like dresses. Such template-guided 2D parameterization enables us to employ a powerful StyleGAN-based CNN to learn the pose-dependent Gaussian maps for modeling detailed dynamic appearances. Furthermore, we introduce a pose projection strategy for better generalization given novel poses. To tackle the realistic relighting of animatable avatars, we introduce physically-based rendering into the avatar representation for decomposing avatar materials and environment illumination. Overall, our method can create lifelike avatars with dynamic, realistic, generalized and relightable appearances. Experiments show that our method outperforms other state-of-the-art approaches.

연구 동기 및 목표

• 다중 시야 RGB 영상에서 특히 드레스와 같은 유연한 옷차림을 포함한 고해상도이고 포즈에 따라 변하는 인간 아바타를 모델링하는 데 도전하는 것.
• 좌표 기반 MLP 기반의 NeRF가 스펙트럼 편향과 저주파수 인덕티브 편향으로 인해 세밀하고 동적인 외관을 포착하는 데 한계를 가지는 문제를 해결하는 것.
• 명시적인 3D 가우시안 스플래터링과 강력한 2D CNN을 조합하여 효율적이고 실시간으로 애니메이션을 구현함으로써 높은 시각적 품질을 달성하는 것.
• 외부 분포를 벗어난 포즈 신호에 대한 정규화를 통해 새로운 포즈에 대한 일반화 능력을 향상시키기 위한 포즈 투영 전략을 도입하는 것.
• 시간적 일관성과 기하학적 정확성을 유지하면서도 2D 네트워크 호환성을 보장하는 매개변수화 체계를 개발하는 것.

제안 방법

• 입력 영상에서 SMPL 기반의 피부닝 웨이트를 사용해 캐릭터 전용 매개변수 템플릿을 재구성함으로써 드레스와 같은 유연한 옷차림의 정확한 모델링이 가능해진다.
• 정규 직선 투영을 통해 앞면 및 뒷면 정준 시점에 3D 가우시안을 매개변수화함으로써 두 개의 2D 가우시안 맵을 형성하며, 각 픽셀은 위치, 공분산, 투명도, 색상 정보를 가진 3D 가우시안에 대응한다.
• 템플릿에서 유도된 포즈된 위치 맵을 조건으로 삼아, StyleUNet 기반의 조건부 제너레이터가 포즈에 따라 변하는 가우시안 맵을 학습한다.
• 새로운 포즈 신호를 학습 분포 공간으로 투영하기 위해 PCA 기반의 포즈 투영 전략을 도입하여, 새로운 포즈에 대해 안정적이고 현실적인 보간을 가능하게 한다.
• 최종 아바타는 학습된 2D 맵과 포즈 조건부 속성을 활용하여 3D 가우시안 스플래터링을 통해 렌더링되며, 실시간으로 고품질의 렌더링이 가능하다.
• 암시적 표현에서의 좌표 기반 MLP의 인덕티브 편향을 피하기 위해 명시적 기하학(가우시안)과 강력한 2D CNN을 통합한다.

실험 결과

연구 질문

• RQ1 명시적 3D 가우시안 스플래터링과 2D CNN의 조합이 좌표 기반 MLP 기반의 NeRF보다 세밀하고 동적인 인간 외관을 모델링하는 데 더 우수한 성능을 보일 수 있는가?
• RQ2 어떻게 매개변수 템플릿을 사용하여 드레스와 같은 일반적인 옷차림을 애니메이션 가능하고 기하학적으로 일관성 있게 모델링할 수 있는가?
• RQ3 좌표 기반 MLP에 비해 2D CNN이 포즈에 따라 변하는 세부 사항을 얼마나 더 잘 표현할 수 있는가?
• RQ4 PCA 기반의 포즈 투영 전략이 외부 분포를 벗어난 새로운 포즈에 대해 시각 품질 저하 없이 효과적으로 일반화할 수 있는가?
• RQ5 제안된 방법이 고해상도, 동적이고 재조명 가능한 아바타 렌더링을 유지하면서도 실시간 추론을 달성할 수 있는가?

주요 결과

• 이 방법은 특히 드레스와 같은 유연한 옷차림에 대해 최신 기술 대비 뛰어난 시각적 해상도와 동적 외관 모델링 성능을 달성한다. 이는 SMPL 기반 템플릿이 잘 처리하지 못하는 영역이다.
• 절단 실험 결과, 캐릭터 전용 매개변수 템플릿이 SMPL-X에 비해 재구성 품질을 크게 향상시킴을 확인하였으며, 비정규형이고 비밀실적인 옷차림에 특히 유리하다.
• 2D CNN(StyleUNet)을 좌표 기반 MLP로 대체할 경우 뿌연, 세부 사항이 떨어지는 애니메이션이 발생함으로써, CNN이 세밀한 포즈에 따른 외관 세부 사항을 더 잘 포착함을 입증한다.
• PCA 기반의 포즈 투영 전략은 아티팩트를 감소시키고 새로운 포즈에서의 시각 품질을 향상시키며, 정성적 결과에서는 더 현실적이고 일관된 3D 가우시안 구조를 보여준다.
• 단일 RTX 3090에서 파이토치를 사용해 25 FPS의 추론 속도를 달성하였으며, 이는 TAVA(0.003 FPS)와 AvatarReX(10 FPS, TensorRT 사용)와 비교해 뚜렷한 우수성을 보였다.
• 템플릿 유도 2D 매개변수화와 3D 가우시안 스플래터링의 조합은 다양한 포즈에서 세밀하고 동적이고 일반화된 외관을 갖춘 고품질 실시간 렌더링을 가능하게 한다.