[논문 리뷰] SwiftTailor: Efficient 3D Garment Generation with Geometry Image Representation

Phuc Pham, Uy Dieu Tran외 2명|arXiv (Cornell University)|2026. 03. 19.

3D Shape Modeling and Analysis인용 수 0

한 줄 요약

SwiftTailor는 새로운 의복 기하 이미지(GGI)를 통해 3D 의복을 생성하는 두 단계 프레임워크(PatternMaker 및 GarmentSewer)를 제시하여 물리 기반 시뮬레이션 없이 패턴에서 메시(mesh)까지의 엔드-투-엔드 구성 속도를 제공한다.

ABSTRACT

Realistic and efficient 3D garment generation remains a longstanding challenge in computer vision and digital fashion. Existing methods typically rely on large vision- language models to produce serialized representations of 2D sewing patterns, which are then transformed into simulation-ready 3D meshes using garment modeling framework such as GarmentCode. Although these approaches yield high-quality results, they often suffer from slow inference times, ranging from 30 seconds to a minute. In this work, we introduce SwiftTailor, a novel two-stage framework that unifies sewing-pattern reasoning and geometry-based mesh synthesis through a compact geometry image representation. SwiftTailor comprises two lightweight modules: PatternMaker, an efficient vision-language model that predicts sewing patterns from diverse input modalities, and GarmentSewer, an efficient dense prediction transformer that converts these patterns into a novel Garment Geometry Image, encoding the 3D surface of all garment panels in a unified UV space. The final 3D mesh is reconstructed through an efficient inverse mapping process that incorporates remeshing and dynamic stitching algorithms to directly assemble the garment, thereby amortizing the cost of physical simulation. Extensive experiments on the Multimodal GarmentCodeData demonstrate that SwiftTailor achieves state-of-the-art accuracy and visual fidelity while significantly reducing inference time. This work offers a scalable, interpretable, and high-performance solution for next-generation 3D garment generation.

연구 동기 및 목표

• 산업 워크플로우에 맞춘 효율적이고 해석 가능한 3D 의복 생성을 촉진한다.
• 물리 기반 시뮬레이션을 피하는 간결하고 엔드-투-엔드 재봉 패턴에서 3D 메시 파이프라인을 도입한다.
• 3D 의복 표면에 대한 통합 2D 표현으로서 Garment Geometry Image(GGI)를 제시한다.
• 재봉 패턴 추론용 PatternMaker와 패턴으로부터 기하를 예측하는 GarmentSewer를 개발한다.
• GarmentCodeData 벤치마크에서 최첨단 정확도와 현저히 감소된 추론 시간의 성능을 보여준다.

제안 방법

• PatternMaker는 텍스트나 이미지 입력에서 재봉 패턴을 예측하는 경량 다중모달 언어 모델이다.
• GarmentSewer는 의미론적 재봉 패턴 정보를 Garment Geometry Image(GGI)로 매핑하는 밀집 예측 변환기이다.
• GGI는 의미론, 기하, 재봉 구성 요소를 재봉 패턴에서 재패키징하여 통합 UV-공간으로 결합한다.
• 역매핑 후처리 단계(리메시hing 및 스티칭)가 물리 기반 재봉 없이 GGI로부터 최종 3D 메시를 재구성한다.
• 훈련은 회귀, 스티칭, 법선 정규화 손실과 경계 강조를 위한 에지 인식 가중치를 사용한다.

실험 결과

연구 질문

• RQ1 PatternMaker가 다중 모달 입력으로부터 정확하고 토폴로지 유효한 재봉 패턴을 더 큰 LLM 기반 베이스라인보다 효율적으로 생성할 수 있는가?
• RQ2 GarmentSewer가 물리 시뮬레이션 없이도 정확한 3D 의복 재구성을 가능하게 하는 밀집 기하 이미지를 안정적으로 예측하는가?
• RQ3 Garment Geometry Image(GGI)가 2D 패턴 추론과 3D 메시 구성 간의 다중 모달 및 작업에서 효과적으로 다리를 놓는가?
• RQ4 SwiftTailor와 GarmentCode 기반 파이프라인은 정확도, 다양성, 추론 시간에서 어떻게 비교되는가?

주요 결과

• PatternMaker는 더 큰 베이스라인의 매개변수의 30%만으로도 패턴 정확도와 토폴로지 유효성을 더 높게 달성한다.
• SwiftTailor는 의복 메시 생성에서 최첨단 MMD와 COV를 달성하고, 2단계 추론을 더 빠르게 수행하며(Graft 0.02s) GarmentCode 기반 베이스라인보다 전체 추론 시간이 약 4배 빠르다.
• GGI를 통해 학습 가능한 GarmentSewer를 이용한 재봉 패턴에서 3D 메시로의 효율적 변환이 가능하며 초기 상태 품질과 안정성 측면에서 물리 기반 GarmentCode보다 성능이 더 우수하다.
• 의복 재봉 체인에서 토폴로지와 이음새 무결성을 보존하기 위한 의미론적 UV 맵이 필수적이다.
• 에이블레이션(ablation) 결과는 에지 인식 회귀 및 스티칭 손실이 고품질 이음새 정렬과 기하를 위해 중요하다는 것을 보여준다.