[논문 리뷰] Structure-Preserving 3D Garment Modeling with Neural Sewing Machines

Xipeng Chen, Guangrun Wang외 4명|arXiv (Cornell University)|2022. 11. 12.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 재봉 패턴을 구조적 사전 지식으로 활용하여 구조를 유지하는 3D 의류 모델링을 위한 신경 재봉기(Neural Sewing Machine, NSM)를 제안한다. NSM는 다양한 의류의 위상 구조를 통합된 임bedding으로 인코딩하고, 마스크가 있는 UV-위치 매핑을 통해 3D 형태로 디코딩하며, 내부 패널, 패널 간, 표면 법선 손실을 통해 구조적 정밀도를 강화하여 다양한 의류 유형과 위상에서 3D 복원 및 제어 가능한 조작에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

3D Garment modeling is a critical and challenging topic in the area of computer vision and graphics, with increasing attention focused on garment representation learning, garment reconstruction, and controllable garment manipulation, whereas existing methods were constrained to model garments under specific categories or with relatively simple topologies. In this paper, we propose a novel Neural Sewing Machine (NSM), a learning-based framework for structure-preserving 3D garment modeling, which is capable of learning representations for garments with diverse shapes and topologies and is successfully applied to 3D garment reconstruction and controllable manipulation. To model generic garments, we first obtain sewing pattern embedding via a unified sewing pattern encoding module, as the sewing pattern can accurately describe the intrinsic structure and the topology of the 3D garment. Then we use a 3D garment decoder to decode the sewing pattern embedding into a 3D garment using the UV-position maps with masks. To preserve the intrinsic structure of the predicted 3D garment, we introduce an inner-panel structure-preserving loss, an inter-panel structure-preserving loss, and a surface-normal loss in the learning process of our framework. We evaluate NSM on the public 3D garment dataset with sewing patterns with diverse garment shapes and categories. Extensive experiments demonstrate that the proposed NSM is capable of representing 3D garments under diverse garment shapes and topologies, realistically reconstructing 3D garments from 2D images with the preserved structure, and accurately manipulating the 3D garment categories, shapes, and topologies, outperforming the state-of-the-art methods by a clear margin.

연구 동기 및 목표

• 기존의 3D 의류 모델링 방법이 특정 카테고리나 단순한 위상에 국한되어 있다는 한계를 해결하기 위해.
• 학습 가능한, 구조에 민감한 프레임워크를 통해 다양한 형태와 위상의 일반적인 3D 의류 모델링을 가능하게 하기 위해.
• 내재된 기하학적 및 위상적 구조를 명시적으로 모델링하여 3D 의류 복원 및 제어 가능한 조작을 향상시키기 위해.
• 딥 러닝 모델이 3D 의류 생성 중에 실선과 패널 수준의 구조를 유지하지 못하는 실패를 극복하기 위해.

제안 방법

• 통합된 재봉 패턴 인코딩 모듈은 2D 의류 패널에서 임베딩을 추출하며, 다양한 카테고리와 위상 구조를 처리하기 위해 주성분 분석(based parametric encoding)을 활용한다.
• 3D 의류 디코더는 마스크가 있는 UV-위치 매핑을 사용하여 임베딩에서 3D 형태를 복원하며, 역주성분 분석과 컨볼루션 신경망을 활용하여 공간 매핑을 수행한다.
• 내부 패널 구조 유지 손실은 각 패널 내에서의 등장성 변형을 최소화하여 2D 패널과 3D 표면 간 국소 등장성의 일관성을 보장한다.
• 패널 간 구조 유지 손실은 이웃한 패널 간의 정확한 위상적 관계를 유지하여 실선 일관성을 보존한다.
• 표면 법선 손실은 예측된 표면 법선을 진짜 법선과 일치시켜 기하학적 정밀도를 강화한다.
• 프레임워크는 복원 및 구조 유지 손실을 동시에 최적화하여 현실적이며 위상적으로 정확한 3D 의류를 생성한다.

실험 결과

연구 질문

• RQ1 학습 기반 프레임워크가 고정 템플릿이나 신체에 특화된 가정 없이 다양한 3D 의류 카테고리와 위상에 일반화할 수 있는가?
• RQ2 딥 러닝을 활용해 내재된 기하학적 및 위상적 구조를 3D 의류 생성 중에 명시적으로 유지할 수 있는가?
• RQ3 구조 유지 손실이 표준 복원 지표를 넘어서 3D 의류 복원 품질을 얼마나 향상시키는가?
• RQ4 2D 패널 조작를 통해 의류 카테고리, 형태, 위상을 제어적으로 편집할 수 있는가?
• RQ5 추론 중에 미리 보지 못한 의류 카테고리로 일반화할 수 있는가?

주요 결과

• 전체 NSM 모델은 평균 지오데식 길이 오차(MGLE) 3.54 cm를 달성하여, 복원 전용 기준선 대비 1.84 cm 향상된 성능을 보였다.
• 절단 분석 결과, 패널 간 손실을 추가함으로써 MGLE가 4.69 cm에서 3.62 cm로 감소하였고, 표면 법선 손실을 추가로 적용하면 3.54 cm로 추가로 감소하여, 구조에 민감한 손실의 필요성을 입증하였다.
• Chamfer 및 P2S 지표만으로는 구조 품질을 반영하지 못하며, 이는 위상 오류를 포착하지 못함을 의미한다 — MGLE는 구조 정밀도에 더 신뢰할 수 있는 지표이다.
• 모델은 훈련 중에 볼 수 없었던 복잡한 위상의 경우에도 단일 이미지에서 3D 의류를 성공적으로 복원하며 내재된 구조를 유지한다.
• 2D 패널 형태 및 클래스 조작을 통한 제어 가능한 편집은 현실적인 카테고리 전환과 형태 변화를 가능하게 하며, 훈련 중에 볼 수 없었던 카테고리에도 적용 가능하다.
• 재봉 패턴 임베딩 공간에서의 보간은 2D 패널과 결과 3D 의류 형태 양쪽 모두에서 일관되고 부드러운 전이를 생성한다.