[논문 리뷰] ISP: Multi-Layered Garment Draping with Implicit Sewing Patterns

Ren Li, Benoît Guillard외 1명|arXiv (Cornell University)|2023. 05. 23.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

이 논문은 인간 신체의 다양한 자세에서 다층 의복의 유연하고 고해상도 드레핑을 가능하게 하는, 2D 부호 거리 함수(SDF)와 2D에서 3D로의 매핑을 사용하는 새로운 매개변수화된 의복 표현인 암시적 재봉 패턴(ISP)을 소개한다. 이 방법은 상태 기반의 다층 의복 복원 결과를 달성하며, 2D 패널을 수정하여 의복의 형태와 무늬 편집을 직관적으로 가능하게 한다.

ABSTRACT

Many approaches to draping individual garments on human body models are realistic, fast, and yield outputs that are differentiable with respect to the body shape on which they are draped. However, they are either unable to handle multi-layered clothing, which is prevalent in everyday dress, or restricted to bodies in T-pose. In this paper, we introduce a parametric garment representation model that addresses these limitations. As in models used by clothing designers, each garment consists of individual 2D panels. Their 2D shape is defined by a Signed Distance Function and 3D shape by a 2D to 3D mapping. The 2D parameterization enables easy detection of potential collisions and the 3D parameterization handles complex shapes effectively. We show that this combination is faster and yields higher quality reconstructions than purely implicit surface representations, and makes the recovery of layered garments from images possible thanks to its differentiability. Furthermore, it supports rapid editing of garment shapes and texture by modifying individual 2D panels.

연구 동기 및 목표

• 다양한 신체 자세에서 다층 의복에 대한 유연하고 현실적인 드레핑 방법의 부족을 해결하기 위해.
• 2D 이미지 마스크에서 끝내는 다층 의복의 엔드 투 엔드 유연한 재구성을 가능하게 하기 위해.
• 2D 패널 조작을 통해 형태와 무늬를 직관적이고 매개변수화된 방식으로 편집할 수 있도록 지원하기 위해.
• 기존의 암시적 또는 메쉬 기반 표현 방식이 복잡한 층간 배열과 충돌을 다루는 데에 한계를 가진 점을 극복하기 위해.
• 패션 디자인 관행에서 영감을 얻은 확장 가능하고 매개변수화된 의복 표현을 개발하기 위해.

제안 방법

• 잠재 벡터 𝐳에 조건화된 학습 가능한 부호 거리 함수(SDF)로 정의된 2D 패널의 집합으로 의복을 표현한다.
• 각 2D 패널을 잠재 벡터 𝐳에 조건화된 2D에서 3D로의 매핑을 통해 3D 표면로 매핑함으로써 3D 형태 예측을 가능하게 한다.
• 유연한 렌더러와 IoU 손실을 사용하여 2D 분할 마스크에서 다층 의복 복원을 위한 잠재 코드 𝐳를 최적화한다.
• 드레핑 중의 관통을 방지하기 위해 2D 패널 공간에서 충돌 인식 손실을 사용한다.
• 실제 층의 배열을 보장하기 위해 외측에서 내측으로의 순차적 최적화를 수행한다.
• 2D 매개변수 공간에서 예측된 패널 가장자리와 원하는 가장자리 간의 챔퍼 거리 최소화를 통해 형태 편집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 유연하고 암시적인 의복 표현 방식이 다양한 신체 자세에서 다층 의복의 현실적인 드레핑을 지원할 수 있는가?
• RQ2 암시적 재봉 패턴이 단일 이미지 2D 마스크에서 고해상도의 다층 의복을 재구성하는 데에 효과적인가?
• RQ3 SDF를 통한 2D 패널 조작이 의복 형태와 무늬의 직관적이고 매개변수화된 편집을 가능하게 하는가?
• RQ4 제안된 방법이 기존의 암시적 또는 메쉬 기반 접근 방식보다 재구성 정밀도와 충돌 회피 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 학습 시 캐논리컬 T자세 데이터만을 사용했음에도 불구하고, 추론 시 다양한 신체 자세에 일반화되는가?

주요 결과

• 사용자 연구에서 본 방법은 기준 모델들인 DrapeNet(25.00%)에 비해 62.69%의 사용자 선호도를 기록하여 시각적 정밀도가 뛰어나다는 것을 입증했다.
• IoU 손실 기반 최적화로 재구성 시 교차 비율이 낮아졌으며, 이는 마스크 정렬 개선과 오버랩 오류 감소를 나타낸다.
• 복잡한 다층 구성에서도 신체나 층 간에 관통 현상이 전혀 발생하지 않았다.
• 본 방법은 2D 분할 마스크에서 전체 다층 의복 세트를 성공적으로 복원했으며, SMPLicit, ClothWild, DrapeNet를 모두 능가했다.
• SDF를 통해 2D 패널 경계를 직접 조작함으로써 소매를 줄이거나 개방부를 닫는 등의 직관적 편집이 가능했다.
• 암시적 방법이 보조 분류기 필요로 하는 것과 달리, 이 방법은 UV 패널에 그림을 그리는 방식으로 유연한 텍스처 편집을 지원한다.