[논문 리뷰] ReWeaver: Towards Simulation-Ready and Topology-Accurate Garment Reconstruction

Ming Li, Hui Lin Shan외 6명|arXiv (Cornell University)|2026. 01. 23.

3D Shape Modeling and Analysis인용 수 0

한 줄 요약

ReWeaver는 희소 다중 시야 RGB 이미지에서 토폴로지-정확한 3D 의상과 2D 재봉 패턴을 재구성하고 3D 커브/패치를 2D 패널과 연결하여 시뮬레이션 준비 자산을 만듭니다.

ABSTRACT

High-quality 3D garment reconstruction plays a crucial role in mitigating the sim-to-real gap in applications such as digital avatars, virtual try-on and robotic manipulation. However, existing garment reconstruction methods typically rely on unstructured representations, such as 3D Gaussian Splats, struggling to provide accurate reconstructions of garment topology and sewing structures. As a result, the reconstructed outputs are often unsuitable for high-fidelity physical simulation. We propose ReWeaver, a novel framework for topology-accurate 3D garment and sewing pattern reconstruction from sparse multi-view RGB images. Given as few as four input views, ReWeaver predicts seams and panels as well as their connectivities in both the 2D UV space and the 3D space. The predicted seams and panels align precisely with the multi-view images, yielding structured 2D--3D garment representations suitable for 3D perception, high-fidelity physical simulation, and robotic manipulation. To enable effective training, we construct a large-scale dataset GCD-TS, comprising multi-view RGB images, 3D garment geometries, textured human body meshes and annotated sewing patterns. The dataset contains over 100,000 synthetic samples covering a wide range of complex geometries and topologies. Extensive experiments show that ReWeaver consistently outperforms existing methods in terms of topology accuracy, geometry alignment and seam-panel consistency.

연구 동기 및 목표

• 토폴로지 인식 재구성이 시뮬레이션 및 제조 워크플로우를 지원해야 하는 필요성을 제시한다.
• 3D 의상 패치/커브와 이들의 2D 재봉 패턴을 명시적 2D–3D 대응과 함께 예측하는 통합 모델을 개발한다.
• 토폴로지-정확한 재구성 학습과 평가를 위한 대형 텍스처 데이터세트(GCD-TS) 제작 및 활용
• 물리적 시뮬레이션, 3D 인지 및 의상 자산 생성에 바로 사용할 수 있는 출력을 가능하게 한다.

제안 방법

• 희소 시야에서 통일된 이미지 토큰을 생성하기 위한 VGGT-유사 다중 시야 시각 인코더 도입
• 패치/커브 질의를 통해 이미지 토큰에서 3D 패치/커브 및 연결성을 예측하기 위한 이중 경로 트랜스포머 사용
• 패치와 커브 모두에 대해 질의 토큰에 조건화된 하이퍼-네트워크로 매개변수화된 암시적 MLP로 기하를 표현
• connectivity에 따라 패치와 커브를 그룹화하고 그룹 내 주의력을 적용하여 2D 패널 엣지를 생성
• 실제 패널 크기를 회복하기 위해 패널 스케일 팩터를 예측하고 루프 종료 및 패널 타당성을 보장하는 기하 보정 파이프라인를 적용
• 지형 Chamfer 거리, 유효성/연결성에 대한 이진 교차 엔트로피, L2 스케일 손실 등 미분 가능 손실을 사용하고 대응에 해링스 매칭을 활용하여 학습하

실험 결과

연구 질문

• RQ1 네 개 이상의 시야에서 단일 모델이 3D 의상 토폴로지와 2D 재봉 패턴을 동시에 재구성할 수 있는가?
• RQ2 Explicit 2D–3D 대응이 시뮬레이션 준비 의상의 토폴로지 정확도와 기하 정확성을 어떻게 향상시키는가?
• RQ3 토폴로지 인식 재구성이 보지 못한 의상 토폴로지에 일반화되면서 기하 정밀도를 유지할 수 있는가?
• RQ4 토폴로지 및 기하 보정이 2D 패널 품질과 3D 기하에 미치는 영향은 무엇인가?
• RQ5 GCD-TS 데이터셋이 토폴로지 인식 의상 재구성의 학습 및 평가에 얼마나 효과적인가?

주요 결과

• ReWeaver는 2D 패널 재구성 작업에서 베이스라인 대비 탁월한 토폴로지 정확도와 기하 정렬을 달성한다.
• 모델은 시뮬레이션에 적합한 명시적 2D–3D 대응과 함께 일관된 2D 재봉 패턴 및 3D 의상 기하를 출력한다.
• 토폴로지 보정은 중복된 엣지를 감소시키고 패널 정확도 및 2D 엣지 품질을 향상시킨다.
• 기하 보정은 닫힌 루프 패널 경계를 강제하여 엣지 정밀도 및 패널 IoU를 개선한다.
• 3D 패치를 적응적으로 샘플링하면 고정 샘플링보다 그라운드 트루스에 대한 Chamfer 거리 차이가 더 근접하다.
• ReWeaver의 2D 재봉 패턴 출력은 입력된 희소 다중 시야 이미지와 정렬된 시뮬레이션 준비 자산을 가능하게 한다.