[논문 리뷰] SNUG: Self-Supervised Neural Dynamic Garments

Igor Santesteban, Miguel Á. Otaduy외 1명|arXiv (Cornell University)|2022. 04. 05.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

SNUG는 물리기반 최적화를 미분 가능한 손실로 사용하여 동적 3D 의류 변형을 위한 자기지도 학습 프레임워크를 제안한다. 이로 인해 고비용의 진짜 데이터셋이 필요 없어지며, 지도 학습 방법에 비해 학습 시간이 100배 빨라진다. 암시적 적분기법을 최적화 문제로 재구성함으로써, 현재 최고 수준의 현실성 구현과 함께 학습 속도가 100배 향상된다.

ABSTRACT

We present a self-supervised method to learn dynamic 3D deformations of garments worn by parametric human bodies. State-of-the-art data-driven approaches to model 3D garment deformations are trained using supervised strategies that require large datasets, usually obtained by expensive physics-based simulation methods or professional multi-camera capture setups. In contrast, we propose a new training scheme that removes the need for ground-truth samples, enabling self-supervised training of dynamic 3D garment deformations. Our key contribution is to realize that physics-based deformation models, traditionally solved in a frame-by-frame basis by implicit integrators, can be recasted as an optimization problem. We leverage such optimization-based scheme to formulate a set of physics-based loss terms that can be used to train neural networks without precomputing ground-truth data. This allows us to learn models for interactive garments, including dynamic deformations and fine wrinkles, with two orders of magnitude speed up in training time compared to state-of-the-art supervised methods

연구 동기 및 목표

• 3D 의류 변형에 대한 지도 학습의 높은 데이터 및 계산 비용 문제를 해결하기 위해 진짜 3D 메쉬 데이터가 필요 없도록 하는 것.
• 사전에 계산된 데이터셋 없이 오직 물리기반 제약 조건만을 사용하여 동적 3D 의류의 자기지도 학습을 가능하게 하는 것.
• 정점 수준의 L2 손실이 아닌 내재된 물리적 성질을 활용하여 학습된 의류 변형의 일반화 능력과 현실성 향상.
• 통합된 자기지도 학습 프레임워크 내에서 다양한 재질 모델로의 쉽게 적용 가능하게 하는 것.
• 지난 최고 수준의 지도 학습 방법과 동등하거나 이를 초월하는 현실성 유지 또는 향상과 함께 학습 및 추론 속도 향상.

제안 방법

• 프레임 단위의 물리기반 통합(예: 역 오일러)을 미분 가능한 최적화 문제로 재구성한다.
• 최적화 목표를 자기지도 손실 함수로 사용하며, 운동 방정식에서 유도된情성 및 정적 에너지 항을 포함한다.
• 진짜 메쉬가 필요 없이 이 물리기반 손실을 최소화하는 방식으로 신경망을 학습시켜 의류 변형을 예측한다.
• 진짜 데이터 없이 신체 형태, 자세, 재질 파rameter만을 입력으로 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 최적화 손실의 에너지 항을 조정하여 다양한 재질 모델을 지원함으로써 직물 간 일반화를 가능하게 한다.
• 두 단계 학습 방식을 활용: 첫 번째로 회귀기 모델이 신체 파rameter에서 변형을 학습하고, 두 번째로 물리기반 손실을 사용하여 네트워크를 미세 조정한다.

실험 결과

연구 질문

• RQ1 진짜 3D 메쉬 데이터 없이도 동적 3D 의류 변형을 학습할 수 있는가?
• RQ2 물리기반 시뮬레이션 원칙을 신경망 의류 변형 모델의 자기지도 신호로 사용할 수 있는가?
• RQ3 자기지도 접근 방식이 학습 시간을 줄이며 지도 학습 방법과 동등하거나 더 높은 현실성을 달성할 수 있는가?
• RQ4 물리기반 최적화 손실 사용이 학습된 의류 동역학의 현실성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 재학습 없이도 다양한 신체 형태, 자세, 재질 유형 간에 프레임워크가 일반화 가능한가?

주요 결과

• SNUG는 진짜 데이터가 전혀 없는 상태에서도 Santesteban et al. [45]와 TailorNet [39]와 같은 최고 수준의 지도 학습 방법과 동등한 의류 변형을 달성한다.
• qualitative 비교 및 보충 영상에서 볼 수 있듯이, 동일한 동작에 대해 학습된 지도 학습 기반 모델에 비해 더 세밀한 주름을 생성한다.
• 지난 지도 학습 방법이 사전 계산된 물리 시뮬레이션에 의존하는 데 비해, 학습 시간이 약 두 개의 지수 차수(100배) 감소한다.
• 학습되지 않은 신체 형태와 자세에 대해 잘 일반화되어 있으며, 자세 및 신체 형태에 따라 주름이 생성되며 오버피팅 없이 작동한다.
• 정점 수준의 L2 손실에서 흔히 발생하는 부드러운 아티팩트를 피하기 위해 물리적 에너지 최소화에 기반함으로써 이를 완화한다.
• 절단 실험 결과, 물리기반 손실의 모든 구성 요소(관성, 정적, 접촉 항)가 현실성 및 동적 행동 향상에 기여하는 것으로 확인된다.