[논문 리뷰] DeepWrinkles: Accurate and Realistic Clothing Modeling

Zorah Laehner, Daniel Cremers외 1명|arXiv (Cornell University)|2018. 08. 10.

3D Shape Modeling and Analysis참고 문헌 46인용 수 42

한 줄 요약

데이터 기반 프레임워크로 subspace-based global cloth deformation model과 temporal-consistent cGAN이 고주파 주름을 normal maps에 추가하여 현실적인 의류 애니메이션을 제공합니다.

ABSTRACT

We present a novel method to generate accurate and realistic clothing deformation from real data capture. Previous methods for realistic cloth modeling mainly rely on intensive computation of physics-based simulation (with numerous heuristic parameters), while models reconstructed from visual observations typically suffer from lack of geometric details. Here, we propose an original framework consisting of two modules that work jointly to represent global shape deformation as well as surface details with high fidelity. Global shape deformations are recovered from a subspace model learned from 3D data of clothed people in motion, while high frequency details are added to normal maps created using a conditional Generative Adversarial Network whose architecture is designed to enforce realism and temporal consistency. This leads to unprecedented high-quality rendering of clothing deformation sequences, where fine wrinkles from (real) high resolution observations can be recovered. In addition, as the model is learned independently from body shape and pose, the framework is suitable for applications that require retargeting (e.g., body animation). Our experiments show original high quality results with a flexible model. We claim an entirely data-driven approach to realistic cloth wrinkle generation is possible.

연구 동기 및 목표

• Motivate realistic garment reconstruction for animation, AR/VR, and virtual try-on.
• Develop a fully data-driven pipeline that separates body shape/pose from clothing wrinkles.
• Capture high-frequency cloth details from real 4D scans and render them efficiently.
• Enable retargeting of clothing across different body shapes and poses.

제안 방법

• 4D scan data와 함께 pose 및 body-shape normalization으로 의복 변형의 선형 서브스페스 모델을 학습한다.
• 의복 템플릿을 4D scans에 등록하고 mean shape와 vertex offsets를 구성한 뒤; PCA를 수행하여 낮은 차원의 표현을 얻는다.
• joint poses를 서브스페이스 계수로 매핑하기 위한 pose-to-shape 회귀(및 autoregressive RNN)를 학습하여 retargeting을 수행한다.
• 저해상도 normals를 조건으로 high-resolution normals를 생성하도록 conditional GAN을 normal maps에서 학습하여 미세 표면 디테일을 생성한다.
• 노말 맵의 프레임대 프레임 전환을 매끄럽게 보장하기 위한 전용 손실 항을 도입하여 시간적 일관성을 강제한다.
• Rendered를 향상된 normal maps를 사용하여 실시간 그래픽 파이프라인에서 현실적인 주름 디테일을 달성한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 서브스페이스 모델이 바디 shapes와 pose를 보정하여 retargeting에 적합한 전역 의류 변형을 정확히 포착할 수 있는가?
• RQ2 노말 맵에서 신경망이 고주파, 시간적으로 일관된 주름을 recovered from high-resolution scans 추가할 수 있는가?
• RQ3 입력 노말 맵의 품질과 시간적 손실이 리타겟된 의류의 현실감과 안정성에 어떤 영향을 미치는가?
• RQ4 새로운 신체 형태와 보지 않은 자세에 대해 Retargeting이 얼마나 잘 일반화되는가?

주요 결과

• 실제 4D 데이터에서 학습된 선형 서브스페이스 모델은 자세 및 형태 정규화된 좌표로 의복 변형을 표현할 수 있다.
• 노말 맵에서 동작하는 cGAN은 저해상도 템플릿에 의해 포착되지 않는 미세한 주름을 회복하여 고충실도 렌더링을 생성한다.
• 시간적 일관성 손실을 도입하면 애니메이션 시퀀스의 프레임 간 안정성과 현실감이 향상된다.
• 새로운 신체 형태와 자세에 대한 retargeting이 가능하여 서로 다른 캐릭터 간의 의상을 렌더링하면서 디테일을 보존할 수 있다.
• 물리 기반 시뮬레이션 및 순수 서브스페이스 방법과 비교하여, DeepWrinkles은 데이터 기반 접근 방식과 적당한 저장소로 더 높은 디테일 충실도를 달성한다.