[논문 리뷰] gDNA: Towards Generative Detailed Neural Avatars

Xu Chen, Tianjian Jiang외 5명|arXiv (Cornell University)|2022. 01. 11.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

gDNA는 각 주제자리에 1~3장의 포즈 스캔만으로 다양하고 세밀한 3D 옷 입은 인간 아바타를 생성하는 생성형 신경 아바타 모델을 제안한다. 이는 현실적이고 확률적인 주름을 포함하며 포즈 제어가 명시적으로 가능하다. 다중 주제 전방 스케일링과 2D 적대적 훈련을 통해 향상된 3D 법선 필드를 조합함으로써, 생성 정확도와 3D 스캔 피팅에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To make 3D human avatars widely available, we must be able to generate a variety of 3D virtual humans with varied identities and shapes in arbitrary poses. This task is challenging due to the diversity of clothed body shapes, their complex articulations, and the resulting rich, yet stochastic geometric detail in clothing. Hence, current methods to represent 3D people do not provide a full generative model of people in clothing. In this paper, we propose a novel method that learns to generate detailed 3D shapes of people in a variety of garments with corresponding skinning weights. Specifically, we devise a multi-subject forward skinning module that is learned from only a few posed, un-rigged scans per subject. To capture the stochastic nature of high-frequency details in garments, we leverage an adversarial loss formulation that encourages the model to capture the underlying statistics. We provide empirical evidence that this leads to realistic generation of local details such as wrinkles. We show that our model is able to generate natural human avatars wearing diverse and detailed clothing. Furthermore, we show that our method can be used on the task of fitting human models to raw scans, outperforming the previous state-of-the-art.

연구 동기 및 목표

• 포즈 제어가 가능한 완전한 포즈 제어와 주름과 같은 고주파 표면 세부 정보를 포함한 다양하고 세밀한 3D 옷 입은 인간 아바타의 생성을 가능하게 하기.
• 기본 형태, 표면 정렬, 수동으로 정의된 스케일링 가중치가 필요 없이 원시이고 해제된 3D 스캔에서 생성 모델을 학습하기.
• 정체성, 형태, 운동 기능, 옷의 변형을 하나의 통합 암시적 표현에서 분리하여 정밀도와 일반화 능력을 향상시키기.
• 신규 아바타 생성과 실제 스캔에 대한 고정밀 피팅을 동시에 가능하게 하여 기존 최신 기술 수준의 방법보다 양쪽 모두에서 슈퍼리어한 성능을 달성하기.

제안 방법

• 모델는 거시적 형태와 고주파 법선 세부 정보를 분리하는 캐논리컬 스페이스 암시적 표현을 사용하여 포즈 및 크기 일반화를 가능하게 한다.
• 1~3장의 포즈 스캔만으로도 학습되는 다중 주제 전방 스케일링 모듈은 명시적 지도 없이 공유 잠재 공간에서 형태와 스케일링 가중치를 함께 학습한다.
• 학습된 왜곡 필드를 통해 동일한 스케일링 필드를 사용하여 다양한 신체 크기에서 정확한 변형을 구현함으로써, 새로운 신체 형태로의 일반화 능력을 향상시킨다.
• 고주파 세부 정보인 주름은 거시적 특징에 조건부된 3D 법선 필드로 모델링되며, 암시적 표면 렌더러가 생성한 2D 법선 맵을 통해 적대적 훈련이 적용된다.
• 렌더러를 통해 3D-2D 대응 관계를 설정하여 적대적 손실을 3D 법선 필드로 역전파함으로써, UV 스페이스 방법의 한계를 극복한다.
• 3D 재구성 손실과 적대적 손실의 조합을 통해 모델을 훈련시키며, 후자는 특히 옷의 현실적인 기하학적 세부 정보를 목표로 한다.

실험 결과

연구 질문

• RQ1 생성 모델은 각 주제자리에 1~3장의 포즈 스캔만으로 수동 지도 없이 다양하고 세밀한 3D 옷 입은 인간 아바타를 학습하여 생성할 수 있는가?
• RQ2 주름과 같은 확률적 고주파 기하학적 세부 정보는 암시적 신경 표현에서 효과적으로 모델링되고 생성될 수 있는가?
• RQ3 단일 통합 모델이 정체성, 형태, 운동 기능, 옷의 변형을 동시에 학습하여 전문화된 또는 단일 주제 기반 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ4 이러한 모델은 학습 중에 볼 수 없었던 정체성과 포즈로 일반화되는 정도는 어느 정도인가?
• RQ5 동일한 생성 모델이 실제 3D 스캔에 대해 효과적으로 피팅되어 기존 최신 기술 수준의 방법보다 더 정확한 결과를 낼 수 있는가?

주요 결과

• gDNA는 프리셰 정체성 거리(FID) 11.54를 달성하여, Pose ONet(43.80) 및 세부 법선(적대적 없음)(42.18)과 같은 기준 모델들을 크게 앞서며 뛰어난 생성 정확도를 입증한다.
• 감각 평가 연구에서 참가자 78.7%가 기준 스캔을 모든 기준 모델보다 선호했으며, 생성 샘플 중 21.3%가 실제 스캔보다 더 현실적으로 평가되었다.
• 3D 스캔 피팅 측면에서도 최신 기술 수준의 방법을 초월하며, SIZER 데이터셋에서 Pred-to-Scan 오차 0.0134와 Scan-to-Pred 오차 0.0123를 기록하여 SMPLicit 및 NPMs를 모두 압도했다.
• 절단 실험 결과 적대적 훈련이 필수적임을 확인: 이를 생략할 경우 생성된 형태는 너무 매끄럽거나 불규칙해지고 고주파 세부 정보가 손실된다.
• gDNA는 학습 중에 볼 수 없었던 새로운 정체성으로도 일반화 성능을 발휘하며, 학습된 스케일링 가중치를 사용해 피팅된 형태를 새로운 포즈로 재애니메이션할 수 있다.
• 이 방법은 주름과 같은 복잡한 옷의 세부 정보를 고정밀도로 재구성할 수 있으며, 사용자 평가에서 생성 샘플이 실제 스캔보다 더 현실적으로 느껴진 경우가 21.3%에 달한다.