[논문 리뷰] Learning to Dress 3D People in Generative Clothing

Qianli Ma, Jinlong Yang외 5명|arXiv (Cornell University)|2019. 07. 31.

3D Shape Modeling and Analysis참고 문헌 99인용 수 11

한 줄 요약

이 논문은 SMPL 위에 확률적이고 덧셈 방식의 이동층을 학습함으로써 3D 인간 신체 메esh에 대해 현실적이고 자세에 따라 변형되는 의류 변형을 생성하는 조건부 Mesh-VAE-GAN인 CAPE를 제안한다. 이는 다양한, 미분 가능하고 고해상도의 의류 샘플링을 신체 형태와 자세에 걸쳐 가능하게 하여 기준 SMPL 모델에 비해 영상 피팅과 합성 데이터 품질을 크게 향상시킨다.

ABSTRACT

Three-dimensional human body models are widely used in the analysis of human pose and motion. Existing models, however, are learned from minimally-clothed 3D scans and thus do not generalize to the complexity of dressed people in common images and videos. Additionally, current models lack the expressive power needed to represent the complex non-linear geometry of pose-dependent clothing shapes. To address this, we learn a generative 3D mesh model of clothed people from 3D scans with varying pose and clothing. Specifically, we train a conditional Mesh-VAE-GAN to learn the clothing deformation from the SMPL body model, making clothing an additional term in SMPL. Our model is conditioned on both pose and clothing type, giving the ability to draw samples of clothing to dress different body shapes in a variety of styles and poses. To preserve wrinkle detail, our Mesh-VAE-GAN extends patchwise discriminators to 3D meshes. Our model, named CAPE, represents global shape and fine local structure, effectively extending the SMPL body model to clothing. To our knowledge, this is the first generative model that directly dresses 3D human body meshes and generalizes to different poses. The model, code and data are available for research purposes at https://cape.is.tue.mpg.de.

연구 동기 및 목표

• 3D 인간 신체 모델에서 현실적이고 생성형의 의류 모델링의 부족을 해결하기 위해, 현재 영상 및 영상에서 옷을 입은 인간에 대해 일반화하지 못하는 문제를 해결한다.
• 실제 의류의 확률적이고 주름이 많은 성격을 포착하지 못하는 결정론적 의류 변형 모델의 한계를 극복한다.
• SMPL을 확장하여 다양한 의류 유형과 자세에 따라 변형되는 다양한 파arametric하고 제어 가능한 모델을 개발한다.
• 합성 데이터 생성, 영상 기반 신체 피팅, 애니메이션 등의 응용을 가능하게 하기 위해 의류를 학습 가능한 조건부 구성요소로 통합한다.

제안 방법

• 그래프 기반 메쉬 표현이 SMPL의 토폴로지를 유지하며, 각 정점가 3D 오프셋 벡터를 저장하여 기저 신체에서의 의류 이동을 나타낸다.
• 자세와 의류 유형에 조건부로 설정된 잠재 변수를 통해 의류를 모델링하는 조건부 Mesh-VAE-GAN 프레임워크를 학습하여 다양한 의류 형태의 확률적 샘플링을 가능하게 한다.
• 미세한 기하학적 세부 정보인 주름 등을 유지하기 위해 패치 기반 3D 메쉬 판별기를 도입하여 표준 GAN보다 더 높은 시각적 현실감을 달성한다.
• 메쉬 기반 의류 변형을 처리하고 생성하기 위해 그래프 컨volution 네트워크(GCNs)와 메쉬 샘플링 레이어를 백본 구성요소로 사용한다.
• 자세에 따라 변형되는 의류 기하학을 캡처하는 11명의 주어에서 80,000 프레임의 4D 스캔 데이터셋을 신규로 수집하여 프레임워크를 학습한다.
• 결과적으로 도출된 CAPE 모델은 완전히 미분 가능하며 SMPL과 호환되어 옷을 입힌 3D 인간의 재자세 조정, 재샘플링, 애니메이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성 모델이 3D 인간 신체에 대해 주름과 복잡한 접힘이 포함된 다양한, 현실적이고 자세에 따라 변형되는 의류 변형을 학습할 수 있는가?
• RQ2 3D 메쉬 기반 생성 모델은 전반적인 형태 일관성을 유지하면서도 주름과 같은 미세한 기하학적 세부 정보를 어떻게 유지할 수 있는가?
• RQ3 자세와 의류 유형에 조건부로 설정된 잠재 변수 모델이 예상치 못한 신체 형태와 자세에 얼마나 잘 일반화되는가?
• RQ4 이러한 의류 모델의 통합이 표준 SMPL에 비해 영상 기반 3D 인간 신체 재구성 정확도를 얼마나 향상시킬 수 있는가?

주요 결과

• 직접 평가에서 CAPE는 실사/가짜 영상 비교에서 35.1% ± 15.7%의 인간 인식률을 기록하여 강력한 시각적 타당성을 입증한다.
• 영상 피팅에서 CAPE는 SMPLify 대비 평균 정점 오차를 18% 감소시켜 정점별 MSE를 0.0189미터에서 0.0223미터로 개선한다.
• 모델은 예상치 못한 신체 형태와 자세로도 일반화하여 잠재 공간 샘플링을 통해 다양한 의류 변형을 생성한다. 이는 각 의류 유형에 대해 여러 예시를 포함한 정성적 결과에서 확인된다.
• 패치 기반 3D 메쉬 판별기는 국소 기하학적 세부 정보, 특히 주름과 접힘 부분을 효과적으로 향상시켜 표준 GAN보다 미세한 구조 유지에서 뛰어난 성능을 보인다.
• CAPE는 완전히 미분 가능하므로 영상에 대한 옷을 입힌 신체의 최적화 기반 피팅이 가능하며, 이후 잠재 공간 또는 카테고리 샘플링을 통한 재자세 조정 및 재의류 착용이 가능하다.
• 모델는 기존의 SMPL 기반 파ip라인과 호환되어 합성 데이터 생성 및 분석-기반 분석 등의 응용을 위한 플러그 앤 플레이 통합이 가능하다.