[논문 리뷰] Dressing 3D Humans using a Conditional Mesh-VAE-GAN.

Qianli Ma, Siyu Tang외 4명|arXiv (Cornell University)|2019. 07. 31.

3D Shape Modeling and Analysis참고 문헌 56인용 수 9

한 줄 요약

이 논문은 3D 스캔된 복장이 있는 인간의 데이터를 기반으로, 복장 유형과 자세에 조건부로 작동하는 메쉬-VAE-GAN을 제안한다. 이 모델은 다양한 실재감 있는 3D 복장을 SMPL 신체 메시에 생성하며, 전반적인 형태와 국소적 구조를 유지한다. 이는 3D 메시를 위한 첫 번째 조건부 VAE-GAN이며, 일반화 가능한 복장 생성을 위한 첫 번째 직접적인 3D 메시 드레싱 모델이다.

ABSTRACT

Three-dimensional human body models are widely used in the analysis of human pose and motion. Existing models, however, are learned from minimally-clothed humans and thus do not capture the complexity of dressed humans in common images and videos. To address this, we learn a generative 3D mesh model of clothing from 3D scans of people with varying pose. Going beyond previous work, our generative model is conditioned on different clothing types, giving the ability to dress different body shapes in a variety of clothing. To do so, we train a conditional Mesh-VAE-GAN on clothing displacements from a 3D SMPL body model. This generative clothing model enables us to sample various types of clothing, in novel poses, on top of SMPL. With a focus on clothing geometry, the model captures both global shape and local structure, effectively extending the SMPL model to add clothing. To our knowledge, this is the first conditional VAE-GAN that works on 3D meshes. For clothing specifically, it is the first such model that directly dresses 3D human body meshes and generalizes to different poses.

연구 동기 및 목표

• 일반적인 이미지와 영상에서 실재감 있는 복장을 포착하는 3D 인간 신체 모델의 부족을 해결하기 위해.
• 다양한 신체 형태와 자세에 일반화되는 3D 메시 기반 복장 생성 모델을 학습하기 위해.
• SMPL 메시에 다양한 복장 유형을 합성할 수 있는 조건부 생성 모델을 개발하기 위해.
• 기본 신체 형태에서 복장 이격을 모델링하여 SMPL 모델에 실재감 있고 기하학적 특성을 고려한 복장을 추가하기 위해.
• 3D 메시 데이터에 특화된 첫 번째 조건부 VAE-GAN 프레임워크를 개발하여 제어 가능하고 다양한 복장 생성을 가능하게 하기 위해.

제안 방법

• 모델은 SMPL 신체 모델에 대한 복장 이격을 학습하기 위해 복장이 있는 인간의 3D 스캔 데이터로 훈련된다.
• 조건부 메쉬-VAE-GAN 아키텍처를 사용하며, 생성자는 복장 유형과 자세에 조건부로 3D 메시 변형을 생성한다.
• VAE 구성 요소는 복장 기하학의 분리된 잠재 표현을 학습하여 전반적인 형태와 국소적 세부 사항을 모두 포착한다.
• GAN 구성 요소는 생성자에 대해 진짜와 가짜 복장 메시를 구분하는 판별자와 함께 적대적으로 훈련함으로써 실재감을 향상시킨다.
• 모델은 SMPL 신체 파라미터(형체 및 자세)와 복장 카테고리를 조건으로 하여 다양한 자세에 일반화된 복장을 생성한다.
• 프레임워크는 재학습 없이도 새로운 자세에 적용 가능한 3D 메시 복장을 직접 출력한다.

실험 결과

연구 질문

• RQ1 조건부 생성 모델은 다양한 자세에서 다양한 실재감 있는 3D 복장을 SMPL 신체 메시에 성공적으로 생성할 수 있는가?
• RQ2 VAE-GAN 프레임워크는 3D 메시 데이터에 효과적으로 적용되어 복잡한 복장 기하학과 구조를 모델링할 수 있는가?
• RQ3 복장 유형과 신체 자세에 조건을 주면, 훈련 중에 보지 못한 신체 형태와 복장 조합으로 일반화할 수 있는가?
• RQ4 모델은 전반적인 형태와 주름, 처짐과 같은 국소적 세부 사항을 유지하면서 복장을 생성할 수 있는가?
• RQ5 3D 메시 기반 생성 모델링을 사용하여, 미분 가능하고 제어 가능한 복장 생성 메커니즘을 SMPL 모델에 확장할 수 있는가?

주요 결과

• 제안된 조건부 메쉬-VAE-GAN은 다양한 자세와 복장 유형에서 SMPL 신체에 다양한 3D 복장을 성공적으로 생성한다.
• 모델은 전반적인 옷 형태뿐만 아니라 주름과 접힘이 포함된 세밀한 국소적 구조도 포착하여 실재감을 향상시킨다.
• 훈련 중에 볼 수 없었던 새로운 신체 형태와 자세로 일반화되며, 강력한 제로샷 일반화 성능을 보여준다.
• 이 모델은 3D 메시 데이터를 위한 첫 번째 조건부 VAE-GAN으로, 제어 가능하고 분리된 복장 생성을 가능하게 한다.
• 모델은 재학습이나 최적화 없이도 새로운 자세에 적용 가능한 3D 인간 메시에 복장을 직접 드레스업할 수 있어 효율적인 추론이 가능하다.
• 이 방법은 구조적 무결성을 유지하면서 실재감 있고 기하학적 특성을 고려한 복장 구성 요소를 SMPL 모델에 효과적으로 확장한다.