[논문 리뷰] Towards 3D Human Shape Recovery Under Clothing.

Xin Chen, Anqi Pang외 8명|arXiv (Cornell University)|2019. 04. 04.

3D Shape Modeling and Analysis참고 문헌 41인용 수 4

한 줄 요약

TightCap는 전역 UV 텍스처 도메인에서 옷의 조임 정도를 모델링함으로써 단일 3D 스캔에서 세밀한 3D 인간 자세와 옷을 재구성하는 데이터 기반 방법을 제안한다. 개선된 통계적 템플릿과 다단계 정렬을 통해 다양한 자세와 옷 종류에서 고해상도 재구성을 달성하였으며, 새로운 벤치마크 데이터셋(CTD)을 통해 검증되었다.

ABSTRACT

In this paper, we present TightCap, a data-driven scheme to capture both the human shape and dressed garments accurately with only a single 3D human scan, which enables numerous applications such as virtual try-on, biometrics and body evaluation. To break the severe variations of the human poses and garments, we propose to model the clothing tightness - the displacements from the garments to the human shape implicitly in the global UV texturing domain. To this end, we utilize an enhanced statistical human template and an effective multi-stage alignment scheme to map the 3D scan into a hybrid 2D geometry image. Based on this 2D representation, we propose a novel framework to predicted clothing tightness via a novel tightness formulation, as well as an effective optimization scheme to further reconstruct multi-layer human shape and garments under various clothing categories and human postures. We further propose a new clothing tightness dataset (CTD) of human scans with a large variety of clothing styles, poses and corresponding ground-truth human shapes to stimulate further research. Extensive experiments demonstrate the effectiveness of our TightCap to achieve high-quality human shape and dressed garments reconstruction, as well as the further applications for clothing segmentation, retargeting and animation.

연구 동기 및 목표

• 극단적인 자세와 의류 변화가 있는 상황에서도 단일 3D 스캔으로 세밀한 인간 신체 자세와 의류를 재구성하는 문제를 해결한다.
• 다양한 의류 유형과 자세에서 신체 표면에서의 의류 이격 거리로 정의되는 옷의 조임 정도를 모델링하는 데 어려움을 극복한다.
• 다층 의류와 기저 신체 자세를 고해상도로 재구성할 수 있는 강력한 데이터 기반 프레임워크를 개발한다.
• 다양한 인간 자세, 의류 스타일, 정답 형태를 포함한 새로운 기준 데이터셋(CTD)을 제공하여 옷을 입은 상태의 3D 인간 재구성 분야의 향후 연구를 지원한다.

제안 방법

• 정확한 신체 자세 추정을 위한 사전 정보로 개선된 통계적 인간 템플릿을 활용한다.
• 3D 스캔을 하이브리드 2D 기하도면으로 매핑하기 위해 다단계 정렬 기법을 구현하여 공간적 및 기하학적 정밀도를 유지한다.
• 전역 UV 텍스처 도메인에서 새로운 조임 정도 수식을 도입하여 의류가 신체 표면에서 이격되는 것을 암묵적으로 모델링한다.
• 2D 기하도면 표현에서부터 옷의 조임 정도를 예측하기 위한 전용 딥러닝 프레임워크를 설계한다.
• 다양한 의류 유형에서 다층 구조의 인간 자세와 의류 재구성을 정교하게 개선하기 위한 효과적인 최적화 기법을 적용한다.
• 2D 표현을 통한 엔드 투 엔드 학습 및 최적화를 활용하여 자세와 의류 변화 상황에서도 일관되고 세밀한 결과를 도출한다.

실험 결과

연구 질문

• RQ1 단일 3D 스캔을 사용하여 기저 인간 신체 자세와 완전한 떨어진 의류 기하학을 정확하게 재구성할 수 있는가?
• RQ2 신체에서 의류가 얼마나 떨어져 있는지로 정의되는 옷의 조임 정도는 다양한 자세와 의류 유형에서 효과적으로 모델링될 수 있는가?
• RQ3 UV 기반의 전역 매개변수화 방식이 3D 인간 자세 및 의류 재구성의 일관성과 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 기존 방법과 비교해 볼 때 제안된 방법은 다양한 의류 유형과 인간 자세에 대해 얼마나 잘 일반화되는가?
• RQ5 정답 형태와 의류 구성이 포함된 새로운 대규모 3D 스캔 데이터셋이 이러한 재구성 시스템의 훈련 및 평가 향상에 기여할 수 있는가?

주요 결과

• TightCap는 극단적인 자세와 의류 변화 조건에서도 단일 3D 스캔으로 인간 신체 자세와 옷을 고해상도로 재구성한다.
• 제안된 UV 기반의 조임 정도 모델링은 국소적 또는 정점 기반 방법보다 의류 이격 거리를 더 일관되게 포착함으로써 재구성 정확도를 크게 향상시킨다.
• 이 방법은 정확한 의류 세그먼테이션, 리타겟팅, 애니메이션 등의 후속 응용을 가능하게 하여 실용적 유용성을 입증한다.
• 새로운 CTD 데이터셋은 다양한 자세, 의류 스타일, 정답 형태를 포함한 종합적인 기준을 제공하여 향후 3D 인간 재구성 연구를 지원한다.
• 광범위한 실험 결과 다단계 정렬 및 최적화 파이프라인은 복잡한 의류에서 기하학적 세부 정보와 구조적 일관성을 효과적으로 유지함을 입증하였다.
• 이 프레임워크는 다양한 자세와 의류 유형에서 다층 의류 재구성 능력과 해부학적 타당성을 유지하는 데 있어 기존 방법을 능가한다.