[논문 리뷰] TightCap: 3D Human Shape Capture with Clothing Tightness

Xin Chen, Anqi Pang외 3명|arXiv (Cornell University)|2019. 04. 04.

3D Shape Modeling and Analysis참고 문헌 78인용 수 5

한 줄 요약

TightCap는 전역 UV 텍스처 도메인에서 옷의 조임 정도를 모델링함으로써 단일 3D 스캔에서 세밀한 3D 인간 자세와 옷을 재구성하는 데이터 기반 방법을 제안한다. 개선된 통계적 템플릿과 다단계 정렬을 사용하여 하이브리드 2D 기하학적 이미지를 생성함으로써 다양한 자세와 옷 종류에서 정확한 재구성을 가능하게 하며, 새로운 벤치마크 데이터셋(CTD)을 제공한다.

ABSTRACT

In this paper, we present TightCap, a data-driven scheme to capture both the human shape and dressed garments accurately with only a single 3D human scan, which enables numerous applications such as virtual try-on, biometrics and body evaluation. To break the severe variations of the human poses and garments, we propose to model the clothing tightness - the displacements from the garments to the human shape implicitly in the global UV texturing domain. To this end, we utilize an enhanced statistical human template and an effective multi-stage alignment scheme to map the 3D scan into a hybrid 2D geometry image. Based on this 2D representation, we propose a novel framework to predicted clothing tightness via a novel tightness formulation, as well as an effective optimization scheme to further reconstruct multi-layer human shape and garments under various clothing categories and human postures. We further propose a new clothing tightness dataset (CTD) of human scans with a large variety of clothing styles, poses and corresponding ground-truth human shapes to stimulate further research. Extensive experiments demonstrate the effectiveness of our TightCap to achieve high-quality human shape and dressed garments reconstruction, as well as the further applications for clothing segmentation, retargeting and animation.

연구 동기 및 목표

• 큰 자세 및 의류 변형에도 불구하고 단일 3D 스캔에서 인간 자세와 의복을 정확히 재구성하는 도전 과제를 해결한다.
• 신체에서 의복으로의 이격 거리로 정의되는 옷의 조임 정도를 전역 UV 매개변수화 도메인에서 암묵적으로 모델링하여 재구성 정밀도를 향상시킨다.
• 3D 스캔을 하이브리드 2D 기하학적 이미지로 매핑하기 위한 다단계 정렬 프레임워크를 개발하여 조임 정도 예측 및 자세 재구성에 효과적이다.
• 다양한 의류 스타일, 자세 및 참조 인간 자세를 포함한 대규모 새로운 벤치마크 데이터셋(CTD)을 구축하여 향후 연구를 지원한다.
• 고품질의 재구성 덕분에 옷 세분화, 리타겟팅, 애니메이션과 같은 후속 응용을 가능하게 한다.

제안 방법

• 다양한 신체 자세를 더 잘 표현할 수 있도록 통계적 인간 템플릿을 개선하여 정렬 및 조임 정도 모델링의 기준으로 활용한다.
• 기하학적 및 토폴로지적 세부 정보를 유지하면서 3D 스캔을 하이브리드 2D 기하학적 이미지로 매핑하기 위한 다단계 정렬 기법을 구현한다.
• UV 매개변수화 도메인에서 신체에서 의복으로의 이격을 암묵적으로 모델링하는 새로운 조임 정도 수식을 제안한다.
• 다양한 의류 종류와 자세에서 다층 구조의 인간 자세와 의복을 재구성하기 위한 최적화 기법을 설계한다.
• 2D 기하학적 이미지 표현을 활용하여 딥러닝을 통한 조임 정도 예측을 효율적이고 정확하게 수행한다.
• 조임 정도 예측 및 최적화를 통합된 프레임워크로 통합하여 종단 간 재구성(엔드 투 엔드)을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전역 UV 매개변수화 도메인에서 옷의 조임 정도를 효과적으로 모델링할 수 있는가? 이는 단일 스캔에서 3D 인간 및 의복 재구성의 정확도를 향상시키는가?
• RQ2 제안된 다단계 정렬 및 하이브리드 2D 기하학적 이미지 표현 방식은 다양한 자세와 의류 유형에서 재구성 정확도를 어떻게 향상시키는가?
• RQ3 새로운 CTD 데이터셋은 조임 정도 인식 재구성 모델의 훈련 및 평가를 얼마나 잘 지원하는가?
• RQ4 이 프레임워크는 다양한 의류 종류와 복잡한 자세에서도 정밀한 기하학적 세부 정보를 유지하면서 일반화 가능한가?
• RQ5 옷 세분화, 리타겟팅, 애니메이션과 같은 후속 작업에서 이 방법의 성능은 어떠한가?

주요 결과

• TightCap는 극단적인 자세 및 의류 변형 조건에서도 단일 3D 스캔에서 고품질의 3D 인간 자세와 옷을 재구성하는 데 성공한다.
• UV 도메인에서 제안된 조임 정도 수식은 명시적으로 의복 이격을 모델링하지 않는 기준 방법에 비해 재구성 정확도를 크게 향상시킨다.
• 다단계 정렬 및 하이브리드 2D 기하학적 이미지 표현 방식은 기하학적 세부 정보를 효과적으로 유지하고 강력한 조임 정도 예측을 가능하게 한다.
• 새로운 CTD 데이터셋은 의복 조임 정도 및 재구성 성능 평가를 위한 다양하고 대규모의 기준을 제공한다.
• 이 방법은 옷 세분화, 리타겟팅, 애니메이션과 같은 정확한 후속 응용을 가능하게 하여 실용적 유용성을 입증한다.
• 광범위한 실험을 통해 다층 구조의 의복과 복잡한 신체 자세를 재구성하는 데 최적화 기법의 효과성을 검증하였다.