[논문 리뷰] Self-Supervised Collision Handling via Generative 3D Garment Models for Virtual Try-On

Igor Santesteban, Nils Thuerey외 2명|arXiv (Cornell University)|2021. 05. 13.

3D Shape Modeling and Analysis참고 문헌 73인용 수 5

한 줄 요약

이 논문은 의복-신체 갈등을 사후 처리 없이 제거하기 위해 의복을 위한 새로운 캐논리컬 공간과 확산된 인간 신체 표현을 도입함으로써, 자기지도 학습 및 데이터 기반의 3D 가상 피팅을 위한 생성 모델을 제안한다. 이 방법은 캐논리컬 변형 부분공간에서 자기지도 손실을 통해 갈등 없는 변형을 학습하여, 미리 보지 않은 신체 형태와 운동에 대해 상태 기반 최고 성능을 달성하며 갈등률이 0.09%에 불과하다.

ABSTRACT

We propose a new generative model for 3D garment deformations that enables us to learn, for the first time, a data-driven method for virtual try-on that effectively addresses garment-body collisions. In contrast to existing methods that require an undesirable postprocessing step to fix garment-body interpenetrations at test time, our approach directly outputs 3D garment configurations that do not collide with the underlying body. Key to our success is a new canonical space for garments that removes pose-and-shape deformations already captured by a new diffused human body model, which extrapolates body surface properties such as skinning weights and blendshapes to any 3D point. We leverage this representation to train a generative model with a novel self-supervised collision term that learns to reliably solve garment-body interpenetrations. We extensively evaluate and compare our results with recently proposed data-driven methods, and show that our method is the first to successfully address garment-body contact in unseen body shapes and motions, without compromising realism and detail.

연구 동기 및 목표

• 기존 방법에서 흔히 사후 처리가 필요한 3D 데이터 기반 가상 피팅에서 의복-신체 간 갈등 문제를 해결하기 위해.
• 학습 중에 직접 갈등 없는 의복 변형을 학습함으로써 사후 처리가 필요 없도록 하기 위해.
• 미리 보지 않은 신체 형태와 운동에 대해 강건하게 일반화하여 현실성과 물리적 타당성을 확보하기 위해.
• 자기지도 학습을 가능하게 하는, 미분 가능한 캐논리컬 표현 방식을 개발하여 갈등 학습을 가능하게 하기 위해.
• 고기하적 세부 정보를 유지하면서 추론 효율성과 현실성 향상을 위해.

제안 방법

• 피부 스위칭 웨이트와 블렌드셰이프를 임의의 3D 점까지 확장하는 확산된 볼륨 표현 방식의 인간 신체 표현을 도입하여 부드러운 변형 모델링을 가능하게 한다.
• 기존에 확산된 신체 모델이 이미 캡처한 자세 및 형태에 의존하는 변형을 제거하기 위해 새로운 캐논리컬 공간을 제안한다.
• 스위칭 파라미터를 비자세 및 비형태 의복 구성의 함수로 정의함으로써, 자세화된 상태로의 갈등 없는 투영을 보장한다.
• 생성 변형 부분공간을 철저히 샘플링하여 갈등 회피를 학습하기 위해 자기지도 갈등 손실을 활용한다.
• 캐논리컬 공간에서의 변형을 예측하기 위해 회귀기 모델을 사용한 후, 의복 모델을 통해 미분 가능한 투영을 통해 최종 3D 메esh로 변환한다.
• 의복 갈등을 캐논리컬 공간에서 페널티 처리하는 새로운 손실 함수를 사용해, 전체적으로 갈등 없는 출력을 보장하는 엔드 투 엔드로 훈련된 생성 모델을 활용한다.

실험 결과

연구 질문

• RQ1 데이터 기반 3D 가상 피팅 방법이 사후 처리 없이 의복-신체 갈등을 회피할 수 있는가?
• RQ2 기본 신체 모델에서 형태와 자세 변형을 분리하기 위해 캐논리컬 의복 표현을 어떻게 구성할 수 있는가?
• RQ3 자기지도 학습이 다양한 신체 형태와 운동에서 갈등을 회피하는 생성 모델을 효과적으로 훈련시킬 수 있는가?
• RQ4 학습 중에 볼 수 없었던 신체 형태와 동적 운동에 대해 이 방법이 얼마나 잘 일반화되는가?
• RQ5 물리 기반 시뮬레이션과 기존 데이터 기반 접근 방식에 비해 성능 및 현실성 면에서 이 방법은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 AMASS 데이터셋의 미리 보지 않은 테스트 시퀀스에서 갈등률이 단 0.09%에 불과하여 최신 기술을 크게 앞서며 성능을 냈다.
• 전체 갈등 손실 없이 실험한 경우 갈등률이 0.62%로 상승하여 자기지도 손실 항목이 간결하게 작용하는 것을 입증했다.
• 학습 분포를 크게 초월한 극단적인 형태의 신체 형태에도 불구하고, 눈에 띄는 갈등 없이 효과적으로 일반화되었다.
• 흐르는 드레스와 같은 매우 동적인 시퀀스에서도 물리 기반 시뮬레이션과 유사한 현실적인 주름과 역학을 생성하였다.
• 실시간 응용을 가능하게 하기 위해 복잡한 의복(예: 23,000개 삼각형)에 대해 1프레임당 3ms 이내의 빠른 추론 시간을 기록하였다.
• 사후 처리 기반 방법은 갈등을 줄이긴 하지만 종종 비현실적인 패드나 불규칙한 부풀어오름 같은 새로운 아티팩트를 유발하지만, 제안된 방법은 이러한 문제를 완전히 피했다.