[논문 리뷰] Garment Avatars: Realistic Cloth Driving using Pattern Registration

Oshri Halimi, Fabián Prada외 8명|arXiv (Cornell University)|2022. 06. 07.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 다중 시점 무늬 천 추적 기반으로 2.67 mm의 정렬 해상도와 1 mm의 국소화 오차를 달성하는 드라이vable, 고해상도의 의복 아바타를 생성하는 종단간 흐름을 제안한다. 희소 시점에서의 부분 무늬 검출과 UV 공간 좌표 보간 네트워크를 활용함으로써, 몸체 자세만으로도 상태 최고 수준의 포즈 기반 모델을 능가하는 사실성과 해상도를 갖춘 현실적인 천 애니메이션을 가능하게 한다.

ABSTRACT

Virtual telepresence is the future of online communication. Clothing is an essential part of a person's identity and self-expression. Yet, ground truth data of registered clothes is currently unavailable in the required resolution and accuracy for training telepresence models for realistic cloth animation. Here, we propose an end-to-end pipeline for building drivable representations for clothing. The core of our approach is a multi-view patterned cloth tracking algorithm capable of capturing deformations with high accuracy. We further rely on the high-quality data produced by our tracking method to build a Garment Avatar: an expressive and fully-drivable geometry model for a piece of clothing. The resulting model can be animated using a sparse set of views and produces highly realistic reconstructions which are faithful to the driving signals. We demonstrate the efficacy of our pipeline on a realistic virtual telepresence application, where a garment is being reconstructed from two views, and a user can pick and swap garment design as they wish. In addition, we show a challenging scenario when driven exclusively with body pose, our drivable garment avatar is capable of producing realistic cloth geometry of significantly higher quality than the state-of-the-art.

연구 동기 및 목표

• 가상 원격 존재에서 현실적인 드라이vable 옷 모델을 훈련시키기 위한 고해상도 정확한 지도 데이터의 부족을 해결하기 위해.
• 비강성 천 변형, 자기 음영, 다중 시점 천 추적에서의 희소 시각적 특징과 같은 과제를 극복하기 위해.
• 초정밀 무늬 정합을 활용한 새로운 드라이vable 의복 아바타 모델을 개발하여 애니메이션의 정밀도를 향상시키기 위해.
• 좌표 보간 기반 접근을 통해 오직 두 개의 희소하고 겹치지 않는 카메라 시점에서만 실현 가능한 고해상도 천 애니메이션을 가능하게 하기 위해.
• 정밀한 기하학적 및 외관 모델링을 통해 합성 시뮬레이션과 실제 옷의 역학 사이의 격차를 메우기 위해.

제안 방법

• 고정밀 대응을 위한 최적화된 고유 인쇄 무늬를 사용하는 다중 시점 무늬 천 추적 알고리즘으로, 무늬 기반 검출기를 통해 무늬 기초 요소를 검출한다.
• 비강성 및 투영 변환 하에서 안정적으로 관건점을 식별하는 그래프 처리 알고리즘으로, 자기 음영과 검출 노이즈를 처리한다.
• 희소 시점에서의 부분 픽셀 좌표 신호를 융합하는 UNet 스타일의 네트워크를 사용하여 UV 공간에서의 좌표 보간 문제로 3D 천 재구성을 공식화한다.
• 희소 관측치에 맞춘 거친 운동학 모델을 기반으로 작동하는 보간 네트워크는 다양한 신체 형태와 의류 유형으로의 일반화를 가능하게 한다.
• 희소 시점의 픽셀 수준 무늬 신호를 사용하여 드라이vable 의복 아바타를 훈련시키며, 자세만으로 제공되는 정보보다 더 풍부한 공간 상관관계를 제공한다.
• 기존의 LBS가 아닌 표면 운동학 모델을 사용함으로써 기하학적 일관성을 향상시키고 아티팩트를 감소시킨다.

실험 결과

연구 질문

• RQ1 무늬 기반 정합 시스템은 복잡한 자기 음영 하에서 비강성 천 변형이 발생할 때도 1밀리미터 이내의 국소화 정확도와 높은 대응 정밀도를 달성할 수 있는가?
• RQ2 희소하고 겹치지 않는 시점에서의 부분 무늬 검출이 고해상도 천 애니메이션을 위한 충분한 기하학적 조건을 제공할 수 있는가?
• RQ3 픽셀 수준의 무늬 신호를 구동 신호로 사용할 경우 자세만으로 구동하는 것보다 현실성과 세부 해상도 정밀도에서 뛰어난 성능을 보일 수 있는가?
• RQ4 UV 공간에서의 좌표 보간 네트워크는 불완전한 2D 관측치로부터 고정밀도로 완전한 3D 천 기하학을 재구성할 수 있는가?
• RQ5 운동학 모델 선택(표면 기반 vs. LBS)이 최종적으로 생성되는 의복 애니메이션의 품질과 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 무늬 정합 파이프라인은 삼각측위 국소화 오차 1 mm와 정합 해상도 2.67 mm를 달성하여 이전 기술에 비해 정확도와 대응 품질에서 뚜렷한 우수성을 보였다.
• 이 방법은 놀라운 기하학적 정밀도를 갖춘 등록된 천 메쉬의 동적 시퀀스를 생성하여 후속 모델을 위한 고품질 데이터 생성을 가능하게 했다.
• 고정밀 데이터로 훈련된 픽셀-정합 기반의 의복 아바타는 정성적 현실성과 정량적 구동 오차 측면에서 기존 최고 수준의 포즈 기반 모델을 능가했다.
• 제안된 방법의 구동 오차는 포즈 기반 기준 모델보다 뚜렷이 낮아, 더 나은 조건 설정과 고주파 노이즈에 대한 과적합 감소를 입증했다.
• 절단 분석 결과 표면 운동학 모델은 LBS 기반 대안 대비 기하학적 아티팩트를 감소시키고 안정성을 향상시킨다.
• 이 방법은 오직 두 카메라 시점에서만 실현 가능한 실시간 텍스처 교체와 고해상도 천 재구성 기능을 갖춘 현실적인 가상 원격 존재를 가능하게 했다.