[논문 리뷰] Garment4D: Garment Reconstruction from Point Cloud Sequences

Fangzhou Hong, Liang Pan외 2명|arXiv (Cornell University)|2021. 12. 08.

3D Shape Modeling and Analysis인용 수 10

한 줄 요약

Garment4D는 2차원 이미지 기반 방법에서 발생하는 척도 및 자세의 모호함을 피하기 위해 순차적인 3D 포인트 클러스터를 입력으로 사용하여 3D 의복을 재구성하는 새로운 프레임워크를 제안한다. 이는 순차적 레지istration, PCA 계수를 통한 캐논리컬 의복 추정, 반복적 GCN과 시간적 트랜스포머를 통합한 프로포절 가이드드 하이어르키컬 특징 네트워크를 사용하여 미세한 디테일과 동적 변형을 모델링하며, SMPL+D나 명시적인 인간 신체 모델에 의존하지 않고도 조임새 있고 느슨한 의복 모두에 대해 고해상도이고 해석 가능한 메쉬 재구성을 달성한다.

ABSTRACT

Learning to reconstruct 3D garments is important for dressing 3D human bodies of different shapes in different poses. Previous works typically rely on 2D images as input, which however suffer from the scale and pose ambiguities. To circumvent the problems caused by 2D images, we propose a principled framework, Garment4D, that uses 3D point cloud sequences of dressed humans for garment reconstruction. Garment4D has three dedicated steps: sequential garments registration, canonical garment estimation, and posed garment reconstruction. The main challenges are two-fold: 1) effective 3D feature learning for fine details, and 2) capture of garment dynamics caused by the interaction between garments and the human body, especially for loose garments like skirts. To unravel these problems, we introduce a novel Proposal-Guided Hierarchical Feature Network and Iterative Graph Convolution Network, which integrate both high-level semantic features and low-level geometric features for fine details reconstruction. Furthermore, we propose a Temporal Transformer for smooth garment motions capture. Unlike non-parametric methods, the reconstructed garment meshes by our method are separable from the human body and have strong interpretability, which is desirable for downstream tasks. As the first attempt at this task, high-quality reconstruction results are qualitatively and quantitatively illustrated through extensive experiments. Codes are available at https://github.com/hongfz16/Garment4D.

연구 동기 및 목표

• 2D 이미지 기반 의복 재구성의 한계, 특히 척도 및 자세의 모호함을 해결하기 위해 3D 포인트 클러스터 시퀀스를 입력으로 사용하는 것.
• 후속 작업(예: 리타겟팅 및 텍스처 매핑)을 위해 인간 신체에서 분리 가능한 매개변수화된, 해석 가능한 의복 메쉬 재구성을 가능하게 하는 것.
• 큰 인간 운동 하에서 느슨한 의복(예: 스커트)의 복잡한 비탄성 변형을 시간적 및 기하학적 특징 학습을 통해 효과적으로 모델링하는 것.
• 아직 거의 탐색되지 않은 작업인 포인트 클러스터 시퀀스에서의 3D 의복 재구성에 대한 벤치마크 데이터셋과 프레임워크를 구축하는 것.
• SMPL+D나 메쉬 시퀀스 외 추가 애너테이션을 요구하지 않는 새로운 파ip라인 개발

제안 방법

• 최적화 기반 템플릿 정렬을 통한 순차적 의복 레지스트레이션 후, 메쉬 토폴로지 통일을 위한 바리센터트릭 인터폴레이션.
• 복잡한 인간 신체의 포인트 클러스터 시퀀스를 입력으로 사용하는 의미적 인식 PCA 계수 인코더를 통한 캐논리컬 의복 추정.
• 인터폴레이티드 라인어 블렌드 스카잉(Interpolated LBS)을 통한 프로포절 생성으로, 학습이나 SMPL+D가 필요 없이 아티팩트 없는 느슨한 의복의 스카잉을 가능하게 한다.
• 세분화된 재구성을 위해 고수준 의미적 특징, 저수준 기하학적 특징, 인간 신체 인식 특징을 융합하는 프로포절 가이드드 하이어르키컬 특징 네트워크.
• 순서가 없는 포인트 클러스터에서 효율적인 기하학적 특징 학습을 위한 반복적 그래프 컨볼루션 네트워크(GCN).
• 시공간적 특징 융합을 위한 시간적 트랜스포머로, 시간에 걸쳐 부드럽고 일관된 의복의 역학을 캡처한다.

실험 결과

연구 질문

• RQ1 3D 포인트 클러스터 시퀀스는 2D 이미지에 비해 척도 및 자세의 모호함을 더 잘 다룰 수 있는가, 특히 이에 대해 더 정확하고 모호하지 않은 의복 재구성을 가능하게 하는가?
• RQ2 순서가 없고 비정형적인 포인트 클러스터에서 느슨한 의복의 세밀한 기하학적 디테일과 동적 변형을 어떻게 효과적으로 모델링할 수 있는가?
• RQ3 SMPL+D나 명시적인 인간 신체 템플릿에 의존하지 않으면서도 가시성과 신체에서의 분리 가능성을 유지하면서 매개변수화된 의복 모델을 학습할 수 있는가?
• RQ4 제안된 방법이 불완전하거나 노이즈가 있는 포인트 클러스터 및 분할 오류에 얼마나 잘 일반화되는가?
• RQ5 시간적 모델링을 위한 시간적 트랜스포머를 시퀀스 기반 의복 재구성에 통합함으로써 어떤 성능 향상이 이루어지는가?

주요 결과

• Garment4D는 포인트 클러스터 시퀀스에서 고해상도이고 해석 가능한 3D 의복 메쉬 재구성을 달성하며, 최대 50%의 포인트 클러스터 불완전성에 대해서도 강건한 성능을 유지한다.
• 분할 오차 상황에서도 강력한 성능을 유지하여, 분할 정확도가 50%일 때조차 만족스러운 재구성을 생성함으로써 입력 노이즈에 대한 강건성을 입증한다.
• 제안된 인터폴레이티드 LBS 방법은 아티팩트 없이 스커트와 같은 느슨한 의복을 효과적으로 처리하며, 이 분야에서 SMPL+D 기반 스카잉보다 우수한 성능을 보였다.
• 프로포절 가이드드 하이어르키컬 특징 네트워크와 반복적 GCN의 조합은 원시 포인트 클러스터로부터 기하학적 디테일을 효과적으로 학습할 수 있게 했다.
• 시간적 트랜스포머는 재구성된 의복 시퀀스에서 운동의 부드러움과 시간적 일관성을 크게 향상시켰다.
• 저자들은 CLOTH3D에서 유도된 2,300개의 3D 포인트 클러스터 시퀀스를 포함한 새로운 벤치마크 데이터셋을 공개하여 이 분야의 향후 연구를 가능하게 했다.